paper review
2022. 4. 12.
[논문리뷰] ViT(Vision Transformer) - Transformers for Image Recognition at Scale
이미지 분류, 나아가 컴퓨터 비전 분야에 있어 트랜스포머 아키텍처의 사용은 매우 제한적이었다. 자연어 처리 분야에서는 트랜스포머를 기반으로 등장한 BERT나 GPT 모델들이 game-changer 역할을 하고 있지만, 비전에서는 attention이 합성곱 신경망(convolutional network)과 함께 적용되거나 전체 구조를 유지하면서 합성곱 신경망의 특정 component를 대체하는 부분적인 적용에 그쳤다. ViT는 비전 task에 있어서 CNN에 대한 의존은 더 이상 필요하지 않으며, 이미지 임베딩 벡터에 직접 적용되는 attention은 그 자체만으로도 이미지 분류 작업을 잘 수행할 수 있다고 보여준다. ViT는 이미지 patch별 임베딩 벡터를 추출한 이후 트랜스포머 모델을 통과시켜 최종 ..
![[논문리뷰] ViT(Vision Transformer) - Transformers for Image Recognition at Scale](http://i1.daumcdn.net/thumb/C450x300/?fname=https://blog.kakaocdn.net/dn/RRZ8N/btrzentf02r/HYgdkU6KRhTsGSGnCKySHk/img.png)