AI/Deep Learning
2022. 3. 17.
[DL] Transfer Learning vs Fine-tuning, 그리고 Pre-training
딥러닝에서 신경망을 공부하다보면 transfer learning과 fine tuning이라는 단어를 심심치않게 접할 수 있다. 둘 사이에는 무슨 차이가 있을까? 사실 필자도 생각없이 혼용하다(ㅋㅋ) 의문점을 해소할 기회가 생겨 정리해두고자 한다. 앤드류 응 교수님의 영상과 StackExchange의 질의응답을 많이 참고했다. 결론부터 이야기하자면 transfer learning의 방법 중 하나가 fine tuning이다. 1. Pre-training (사전훈련) 예시로 상황을 가정해보자. 우리는 아래의 신경망으로 개와 고양이를 분류하려고 한다. 따라서 개와 고양이 이미지와 예측하고자 하는 object의 \( (x, y) \)쌍으로 이루어진 데이터셋을 학습했다. 여기서는 우리가 모델을 밑바닥부터 만들었다(..
![[DL] Transfer Learning vs Fine-tuning, 그리고 Pre-training](http://i1.daumcdn.net/thumb/C450x300/?fname=https://blog.kakaocdn.net/dn/blZoW3/btrwgkfCJKA/93XEKyTIyNFOipnsj9uEhk/img.jpg)