2018/11/14 - [Research/Artificial Intelligence] - Recurrent Neural Network (RNN)에서 소개했던 RNN은 기존의 신경망이 갖던 단점을 극복했지만 그렇다고 완벽한 것은 아니다. RNN의 아이디어를 적극적으로 활용하면서 높은 효과를 누릴 수 있어 가장 많이 활용되는 분야가 언어모델이다. 예를 들어 이전 단어를 어떻게 선택했는지를 활용해 다음에 입력될 단어를 예측하는 언어 모델을 가정했을 때 "the clouds are in the sky" 라는 문장에서 "the clouds are in the" 까지 입력을 받았을 때 다음 단어는 문맥과 관계없이 "sky"가 될 확률이 높다. (이 부분에서 한글로 예를 들고 싶었지만 한글은 어순과 문맥의 특성이 조..

순환신경망(RNN: Recurrent Neural Network)은 자연어 처리(NLP: Natural Language Processing) 문제에 높은 성능을 가지는 인기있는 신경망 모델이다. RNN은 기본적으로는 순차적으로 쌓여있는 정보를 처리한다는 아이디어에서 출발한다. 기존의 신경망 구조에서 입출력 각각이 독립적이라고 가정해왔는데 이는 일반적으로 옳지 않다고 여겨진다. 이에 동일한 태스크를 하나의 시퀀스의 모든 요소마다 적용하고 출력 결과는 이전의 계산 결과에 영향을 받게끔 구성한 것이 RNN이다. 이 말을 보다 쉽게 사람이 생각하는 방식에 적용해볼 수 있다. 예를 들어 어떤 사람이 하나의 생각을 말하기 위해 말하는 순간 순간 다시 방금 전의 생각을 지우고 다시 생각해내면서 말하지 않는다. 즉 이..