본문 바로가기

경사하강법

[DL] 신경망의 개요 - Neural Networks와 역전파(Back propagation)
AI/Deep Learning 2021. 10. 18. [DL] 신경망의 개요 - Neural Networks와 역전파(Back propagation) 머신러닝 vs 딥러닝? 본격적으로 신경망에 들어가기 앞서, 머신러닝과 딥러닝은 다른 것일까? 머신러닝이란 '기계가 경험을 통해 작업을 개선할 수 있도록 하는 기술'이다. 어쨋든 우리가 아는 ML/DL 알고리즘 모두 학습을 이용해 최적화하는 단계를 거치니까 딥러닝이 머신러닝의 부분집합임은 자명하다. 반면, 차이점으로 딥러닝은 인공신경망(ANN; Artificial Neural Network)을 기반으로 한다는 것에 있다. 그래서 딥러닝은 '연속된 층(layer)에서 점진적으로 의미 있는 표현을 배우는 기계 학습의 한 종류'라고 말할 수 있으며, 층 기반 표현 학습(layered representations learning) 또는 계층적 표현 학습(hierarchical representations lear..
[ML] 신경망에서의 Optimizer - 역할과 종류
AI/Machine Learning 2021. 9. 28. [ML] 신경망에서의 Optimizer - 역할과 종류 지난 포스트에서 손실함수란 무엇이고, 어떻게 하면 손실함수의 최솟값이 되는 점을 찾는지 살펴보았다. 우리는 '최적화(optimization)'를 통해 파라미터를 잘 찾아서 문제 해결에 적합한 모델을 결정한다. 이번 장에서는 옵티마이저를 등장한 순서대로 소개해보려고 한다. ** 옵티마이저 계보 출처 - https://www.slideshare.net/yongho/ss-79607172 옵티마이저 (Optimizer) 손실함수를 줄여나가면서 학습하는 방법은 어떤 옵티마이저를 사용하느냐에 따라 달라진다. 경사하강법(gradient descent)은 가장 기본적이지만 가장 많이 사용되는 최적화 알고리즘이다. 손실 함수의 1차 도함수에 의존하는 first-order 최적화 알고리즘으로, 함수가 최소값에 도달할 수 ..
[ML] 손실함수와 경사하강법 - Loss function & Gradient Descent
AI/Machine Learning 2021. 9. 28. [ML] 손실함수와 경사하강법 - Loss function & Gradient Descent 1. 손실함수 (Loss Function) 데이터 분석을 위한 수학 모델은 파라미터가 중요한 역할을 한다. 신경망에서는 가중치(weight)와 편향(bias)이 파라미터 역할을 담당한다. 이 파라미터에 현실의 데이터(신경망에서의 학습 데이터)를 적용하면 모델을 확정할 수 있다. 이를 수학에서는 '최적화', 신경망에서는 '학습'이라고 한다. 그렇다면 파라미터를 어떻게 결정할 수 있을까? 예측값과 실제값 사이의 오차가 모든 데이터를 대상으로 최소가 되도록 결정하면 된다. 손실함수란 모델의 파라미터를 이용하여 표현한 오차 전체의 함수이고, 우리는 손실함수가 최소가 되는 지점을 찾으면 된다. 손실함수는 비용함수(cost function), 목적함수(objective function), 오차함수(error fun..

티스토리툴바