[딥러닝] 머신러닝, 딥러닝 기본 용어 해설, 정리, 요약

---

안녕하세요, HELLO

 

오늘은 머신러닝, 딥러닝 분야에서 많이 언급되는 기본적인 용어에 대해서 살펴보고자 합니다.

그동안 공부 및 논문을 읽으면서 배운 내용을 이번 기회를 통해서 정리하려고 합니다.

 

반응형

 

CHAPTER 1. '머신러닝, 딥러닝' 용어 정리

 

Name	Details
Logistic regression	- Binary classification을 하기위해 사용되는 알고리즘 - y가 1일 확률을 계산하며, 활성화 함수 중 하나인 시그모이드 함수를 이용하여 0~1사이의 값으로 계산할 수 있습니다.
First-order method	- 한번 미분한 변수로만 이루어진 식
Dot product	- 두 벡터 간의 내적
Linear Function	- 원점을 지나는 1차 함수
Affine Function	- Linear Function가 동일한 1차 함수이지만, 원점을 지나지 않음
Jacobian Matrix	- Variables의 편미분 값으로 이뤄진 행렬 (Matrix)
Element wise	- 행렬, 벡터에서 원소별로 연산을 하는 것을 의미함
Hyper parameter	- 모델링할때 사용자가 직접 세팅하는 값입니다. - 일반적으로 heuristic한 방법이나 경험에 의해 결정합니다. - 모델 혹은 데이터에 의해 결정되면 parameter 이며,  - 사용자가 직접 설정하면 hyper parameter 입니다.  (ex. layer수, learning rate, batch size, loss function, optimizer, weight decay rate, weight 초기값, epoch ...)
Regret bound	- 일반적으로 강화학습, MAB문제의 톰슨샘플링 알고리즘 등.. 에서 많이 사용되는 용어입니다. - Regret: 선택한 model / policy를 이용하여 얻은 reward가 최선의 선택에 비해 얼마나 손해가 있는지를 수치화 - Regret bound: Regret의 bound, 즉 regret 범위로 생각하면 됩니다.
Objective function	- 학습을 통해 optimize시키려는 목적 함수 - Cost function이 objective function의 한 종류입니다.
Adaptive learning rate	- 맞춤 학습 속도 - GD, SGD, Momentum과 같은 optimizer들은 모든 parameter에 대해서 똑같은 학습 속도(똑같은 양만큼 update 된다)를 갖습니다. - 그러나 AdaGrad, RMSProp, Adam 등은, 각 parameter마다 서로 다르게 update 됩니다.
Sparse gradient problem	- Gradient가 희미해지는 현상 - high-dimensional parameter 공간, 즉 hidden layer가 아주 깊으면 training signal이 약해져서 parameter가 효과적으로 update되지 않을 수 있습니다. - 혹은 training data가 parameter를 효과적으로 update 시킬만큼 충분히 임팩트있는 signal이 아닐 경우 backpropagation에 의해서 gradient가 아주 희미해질 수 있습니다.
Step decay	-  step마다 일정 양만큼 learning rate를 줄이는 기법

 

 

■ Reference

• 프라이데이 블로그 : https://ganghee-lee.tistory.com/

---

■ 마무리

 

'머신러닝, 딥러닝 기본 용어'에 대해서 정리해봤습니다.

 

그럼 오늘 하루도 즐거운 나날 되길 기도하겠습니다

좋아요와 댓글 부탁드립니다 :)

 

감사합니다.