[MIT 18.06] Lecture 1. The geometry of linear equations

---

안녕하세요, HELLO

 

오늘은 길버트 스트랭 (Gilbert Strang) 교수님의 선형대수학 강의인 "MIT 18.06 Linear Algebra, Spring 2005"에 대해서 정리하려고 합니다. 선형대수학 강의에 대한 정리와 더불어, 딥러닝을 위한 선형대수학 관점에서도 접근하여 강의를 이해하고 분석하려고 합니다.

 

"MIT 18.06 Linear Algebra, Spring 2005"의 1주차 "The geometry of linear equations"의 강의 내용입니다.

---

CHAPTER 1. 'Matrix'

 

이번 강의의 주요 내용은 Matrix를 바라보는 관점에 대한 내용입니다.

□ Row Picture

 

행(row)의 관점으로 선형 방정식을 계산하는 방식입니다. Row picture로 푸는 방법은 우리에게 굉장히 익숙한 방식입니다. 선형 방정식들의 그래프를 각각 그린 후, 서로 만나는 교점이 바로 이 선형 시스템의 해가 되는 것입니다.

일반적인 다항 방정식 풀이

---

□ Column Picture

문자 그대로 이야기하자면, 열의 관점에서 선형 시스템을 보는 것입니다. 선형 방정식들을 열 벡터들의 선형 결합(linear combination)으로 표현할 수도 있습니다. 

row picture과 column picture로 계산한 방정식의 해는 모두 동일하게, x=1 그리고 y=2가 나오게 됩니다.

---

□ Row Picture & Column Picture

 

row picture와 column picture로 푸는 것 둘 다 중요하지만, 딥러닝에서 선형 시스템을 column picture로 보는 것에 익숙해질 필요가 있습니다. 왜냐하면 차원이 높아지면 row picture로는 좌표계에서 표현하기가 상대적으로 어렵기 때문입니다.

 

row picture로 위 선형방정식으로 좌표계로 그리면, 아래와 같이 평면(plane)이 겹치는 영역이 나타납니다. 행렬이 선형 독립 관계 (Linear independance)이기에, 모든 좌표를 해석할 수 있는 겹치는 평면을 구할 수 있습니다.

 

column picture로 위 선형 방정식을 그리게 되면, vector를 통해서 표현됩니다. 아무리 차원이 높아지더라도, 축의 표현의 어려움이 있지만, 방정식을 벡터 간의 표현으로 생각하면 됩니다.  

 

 

CHAPTER 2. '딥러닝에서 행(row) 기반 연산 및 열(column) 기반 연산 차이점 및 중요성'

 

이번에는 행(row) 기반 연산과 열(column) 기반 연산은 행렬 연산에서의 차이점과 중요성에 대해 알아보겠습니다.

1. 행 기반 연산
행 기반 연산은 행렬의 각 행을 기준으로 계산합니다. 즉, 각 행의 동일한 인덱스 위치에 있는 원소들을 처리하며, 결과는 일반적인 행 벡터 형태입니다.

행렬 A를 예로 들어보겠습니다:

 

A = [1 2 3]
    [4 5 6]

결과 = [1+2+3  4+5+6] = [6  15]

- 행 합 연산은 각 행의 원소들을 합하여 각 행을 개별적인 개체로 취급합니다. 결과는 입력 행렬의 해당 행들의 합을 나타내는 행 벡터입니다.

행 기반 연산은 행렬의 행들을 기준으로 통계 또는 집계를 계산하는 데 유용합니다. 예를 들어 데이터 분석에서는 행 기반 연산을 사용하여 데이터 포인트들의 행 별 평균, 총합 또는 최대값을 계산하는 데에 활용될 수 있습니다.

---

2. 열 기반 연산

열 기반 연산은 행렬의 각 열을 기준으로 계산합니다. 즉, 각 열의 동일한 인덱스 위치에 있는 원소들을 처리하며, 결과는 일반적으로 열 벡터 형태입니다.

 

A = [1 2]
    [3 4]
    [5 6]

결과 = [1+3+5] = [9]

- 열 합 연산은 각 열의 원소들을 합하여 각 열을 개별적인 개체로 취급합니다. 결과는 입력 행렬의 해당 열들의 합을 나타내는 열 벡터입니다.

열 기반 연산은 딥러닝과 선형 대수학에서 주로 사용되며, 가중 합 (weighted sum), 변환 (transformation), 선형 매핑 (linear mapping) 등의 계산을 효율적으로 수행할 수 있도록 해줍니다. 신경망에서는 특히 열 기반 연산이 자주 사용되며, 각 열은 특성 또는 뉴런을 나타내고, 연산은 배치 내에서 여러 데이터 포인트에 대해 수행됩니다.

---

요약하면:

- 행 기반 연산은 행렬의 행들을 기준으로 계산하며, 행들을 개별적인 개체로 취급합니다.
- 열 기반 연산은 행렬의 열들을 기준으로 계산하며, 열들을 개별적인 개체로 취급합니다.
- 행 기반 연산은 행들을 기준으로 통계 또는 집계를 계산하는 데 사용되며, 열 기반 연산은 선형 대수학에서 딥 러닝에 특히 중요하며, 효율적인 계산과 변환을 가능하게 합니다.

대규모 데이터셋이나 딥 러닝 모델을 다룰 때, 행 기반과 열 기반 연산의 차이점을 이해하면 계산을 최적화하고 성능을 개선하는 데 도움이 됩니다.

---

■ REFERENCE

 

YOUTUBE LECTURE : LINK

 

반응형

 

■ 마무리

 

"MIT 18.06 Linear Algebra, Spring 2005"의 1주차 "The geometry of linear equations"에 대해서 정리해봤습니다.

 

그럼 오늘 하루도 즐거운 나날 되길 기도하겠습니다

좋아요와 댓글 부탁드립니다 :)

 

감사합니다.