AI/Machine Learning
2021. 9. 29.
[ML] 활성화 함수(Activation Function) 종류 정리
신경망에서는 노드에 들어오는 값들에 대해 곧바로 다음 레이어로 전달하지 않고 활성화 함수를 통과시킨 후 전달한다. 활성화 함수(activation function)는 입력 신호의 총합을 출력 신호로 변환하는 함수로, 입력 받은 신호를 얼마나 출력할지 결정하고 네트워크에 층을 쌓아 비선형성을 표현할 수 있도록 해준다. 활성화 함수는 주로 비선형이다. 왜 비선형인가? 선형함수를 사용할 시 층을 깊게 하는 의미가 줄어들기 때문이다. 예를 들어 16개의 은닉 유닛을 가진 2개의 완전 연결층과, 스칼라 값의 예측을 출력하는 세 번째 층을 쌓아보자. from keras import models from kears import layers model = models.Sequential() model.add(layer..
![[ML] 활성화 함수(Activation Function) 종류 정리](http://i1.daumcdn.net/thumb/C450x300/?fname=https://blog.kakaocdn.net/dn/dT8rQW/btrgbznmV0T/fhk6kjmMKzTZayn6172Wf0/img.png)