AI/Deep Learning
2022. 3. 10.
[DL] 텍스트 데이터와 언어 모델(Language Model)
텍스트(text)란 단어의 시퀀스나 문자의 시퀀스로 이해할 수 있다. 시퀀스 처리용 딥러닝 모델은 텍스트를 사용하여 기초적인 자연어 이해 문제를 처리할 수 있는데, 이런 모델은 다음과 같은 어플리케이션에 적합하다. 문서 분류(Text Classification) 감성 분석(Sentiment Analysis) 질문 응답(QA) 컴퓨터는 텍스트를 어떻게 이해할까? 사실 '이해한다'라고 보기보단 문자 언어에 대한 통계적 구조를 만들어 문제를 해결한다고 볼 수 있다. [DL] 합성곱 신경망 파헤치기 포스트의 배경으로 등장했던 컴퓨터 비전이 이미지의 픽셀에 적용한 패턴 인식인 것처럼, 언어 모델은 단어, 문장, 문단에 적용한 패턴 인식인 것이다. 언어 모델 딥러닝에서 시퀀스 데이터를 생성하는 일반적인 방법은 이전..
![[DL] 텍스트 데이터와 언어 모델(Language Model)](http://i1.daumcdn.net/thumb/C450x300/?fname=https://blog.kakaocdn.net/dn/bStlTI/btrvCm0fS0u/OLnQEN8zUK3V47zcDk6NG0/img.png)