AI/Machine Learning
2021. 9. 28.
[ML] 신경망에서의 Optimizer - 역할과 종류
지난 포스트에서 손실함수란 무엇이고, 어떻게 하면 손실함수의 최솟값이 되는 점을 찾는지 살펴보았다. 우리는 '최적화(optimization)'를 통해 파라미터를 잘 찾아서 문제 해결에 적합한 모델을 결정한다. 이번 장에서는 옵티마이저를 등장한 순서대로 소개해보려고 한다. ** 옵티마이저 계보 출처 - https://www.slideshare.net/yongho/ss-79607172 옵티마이저 (Optimizer) 손실함수를 줄여나가면서 학습하는 방법은 어떤 옵티마이저를 사용하느냐에 따라 달라진다. 경사하강법(gradient descent)은 가장 기본적이지만 가장 많이 사용되는 최적화 알고리즘이다. 손실 함수의 1차 도함수에 의존하는 first-order 최적화 알고리즘으로, 함수가 최소값에 도달할 수 ..
![[ML] 신경망에서의 Optimizer - 역할과 종류](http://i1.daumcdn.net/thumb/C450x300/?fname=https://blog.kakaocdn.net/dn/4UH6i/btrgcBrV3jU/ydgDMovBkv2r3qRTMnJSJK/img.gif)