week 2_Deep Convolutional Models: Case Studies (Andrew Ng)

---

안녕하세요, HELLO

 

오늘은 DeepLearning.AI에서 진행하는 앤드류 응(Andrew Ng) 교수님의 딥러닝 전문화의 네 번째 과정인 "Convolutional Neural Networks"을 정리하려고 합니다.

 

"Convolutional Neural Networks"의 강의를 통해 '자율 주행, 얼굴 인식, 방사선 이미지 인식' 등을 이해하고, CNN 모델에 대해서 배우게 됩니다. 강의는 아래와 같이 구성되어 있습니다.

 

~ Foundations of Convolutional Neural Networks

~ Deep Convolutional Models: Case Studies

~ Object Detection

~ Special Applications: Face recognition & Neural Style Transfer

 

"Convolutional Neural Networks" (Andrew Ng)의 2주차 "Deep Convolutional Models: Case Studies"의 강의 내용입니다.

---

CHAPTER 1. 'Classic network'

 

CHAPTER 2. 'Residual Networks (ResNets)'

 

CHAPTER 3. 'Neural Networks'

 

CHAPTER 4. 'Using open source implementations'

---

CHAPTER 1. 'Classic network'

 

□ LeNet-5

output layer에서는 10가지 숫자 분류를 위해 softmax layer을 사용합니다. 이때 주의 깊게 볼 부분은 신경망 훈련을 진행하면, 높이(height), 너비(width)는 줄어들고, 반면에 채널(channel)은 늘어나는 것을 볼 수 있습니다. 

---

□ AlexNet

LeNet과 비슷하지만, 훨씬 큰 파라미터를 가집니다 (LeNET = 약 6,000개, AlexNet = 약 6,000만 개) 이에 따라 더 높은 훈련 효과를 가지며, 추가적으로 activation function으로 ReLu 함수를 사용하고 있습니다. 

 

논문 작성 시점에는 GPU 속도가 느려서, 많은 레이어를 두 개의 GPU를 교차해서 통신해서 훈련하였습니다. 

---

□ VGG-16

VGG-16의 특징은 신경망 아키텍처를 단순화하는 것입니다. 상대적으로 깊은 네트워크로, 약 1억 3,800만 아키텍처를 가집니다. 특이사항으로 모든 단계에서 convolution layer가 2배씩 늘어납니다.  주된 단점은 학습시켜야 되는 파라미터가 많다는 부분입니다.

 

추가적으로 VGG-19과 비슷합니다. 특이 사항으로는 신경망이 깊어짐에 따라 각각 1/2배씩 높이(height)와 너비(width)는 줄어들고, 채널(channel)은 늘어나는 점이 있습니다.

 

 

CHAPTER 2. 'Residual Networks (ResNets)'

 

---

□ Why ResNet work well

l2 regularization을 적용 시, w와 b는 줄어드는 경향을 보입니다.

 

신경망이 깊어짐에 따라, w와 b는 0에 가까워지면, 이때, w[l+2]와 b[l+2]는 0이 되며, z[l+2]는 0을 가지고,

결론적으로 a[l+2 = g(a[l]) = a[l]이 됩니다. activation function ReLu는 0 이상일 때 항등 함수이기 때문입니다.  

 

이때 z[l+2]과 a[l]이 같은 차원(dimension)을 전제로 하는데, 만약 서로 차원이 다르다면 a[l]에 차원을 맞춰주는 가중치 w를 곱해줘서 차원을 통일해줍니다.

---

 

반응형

 

CHAPTER 3. 'Neural Networks'

 

□ One-by-One convolution

height, width는 동일하지만, channels를 줄일 수 있습니다.  

---

□ Inception network motivation

---

□ Inception Network

 

낮은 컴퓨팅 파워 및 cpu, gpu를 개선하기 위한 새로운 신경망의 필요성이 커졌습니다.

---

CHAPTER 4. 'Using open source implementations'

 

□ Transfer learning

---

□ Data Augmentation

---

□ The state of computer vision

---

■ 마무리

 

"Convolutional Neural Networks" (Andrew Ng)의 2주차 "Deep Convolutional Models: Case Studies"에 대해서 정리해봤습니다.

 

그럼 오늘 하루도 즐거운 나날 되길 기도하겠습니다

좋아요와 댓글 부탁드립니다 :)

 

감사합니다.