본문 바로가기

RNN

[DL] 텍스트 데이터와 언어 모델(Language Model)
AI/Deep Learning 2022. 3. 10. [DL] 텍스트 데이터와 언어 모델(Language Model) 텍스트(text)란 단어의 시퀀스나 문자의 시퀀스로 이해할 수 있다. 시퀀스 처리용 딥러닝 모델은 텍스트를 사용하여 기초적인 자연어 이해 문제를 처리할 수 있는데, 이런 모델은 다음과 같은 어플리케이션에 적합하다. 문서 분류(Text Classification) 감성 분석(Sentiment Analysis) 질문 응답(QA) 컴퓨터는 텍스트를 어떻게 이해할까? 사실 '이해한다'라고 보기보단 문자 언어에 대한 통계적 구조를 만들어 문제를 해결한다고 볼 수 있다. [DL] 합성곱 신경망 파헤치기 포스트의 배경으로 등장했던 컴퓨터 비전이 이미지의 픽셀에 적용한 패턴 인식인 것처럼, 언어 모델은 단어, 문장, 문단에 적용한 패턴 인식인 것이다. 언어 모델 딥러닝에서 시퀀스 데이터를 생성하는 일반적인 방법은 이전..
[DL] 순환 신경망 - RNN, LSTM, GRU 파헤치기
AI/Deep Learning 2021. 10. 25. [DL] 순환 신경망 - RNN, LSTM, GRU 파헤치기 이번 포스트에서는 RNN부터 시작해 순환 신경망 계열 딥러닝 모델들의 구조를 살펴보도록 하겠다. 즉, RNN, LSTM, 그리고 GRU에 대한 내용이 될 것이다. 앞서 살펴봤던 기본 ANN과 합성곱 신경망 CNN, 그리고 완전 연결 네트워크(fully-connected layer을 사용한)의 특징은 메모리가 없다는 것이다. 네트워크에 주입되는 입력은 개별적으로 처리되며 입력 간에 유지되는 상태가 없다는 것이다. 반면 오늘 정리할 순환 신경망 계열 모델들은, 이전에 나온 정보를 기억하면서 다음 데이터들을 학습할 수 있다는 특징 때문에 텍스트와 시퀀스 데이터를 처리할 때 자주 사용된다. 1. 순환 신경망 (RNN; Recurrent Neural Network) RNN은 시계열 데이터와 같이 시간의 흐름에 따..

티스토리툴바