인공지능

순환 신경망은 신경망이 텍스트, 오디오 및 비디오와 같은 일련의 데이터로 작업할 수 있게 하는 심층 학습의 필수 요소 중 하나이다. 이는 높은 수준으로 시퀀스를 이해함으로서 시퀀스에 주석을 남긴다거나 새로운 시퀀스를 생성하는 데에 사용할 수 있다. 전통적인 RNN 디자인은 비교적 긴(Gap 차이가 큰) 시퀀스에 적용하는 데에 어려움을 겪지만 LSTM은 긴 시퀀스에서도 잘 작동될 수 있게끔 변형되었으며 이는 번역, 음성 인식 및 이미지 캡션과 같은 많은 작업들에서 놀라운 결과를 이끌어 내었다. 결과적으로 RNN이 지난 몇 년간 널리 보급되게 하는 효과를 이끌었다. 이런 일이 발생하면서 새로운 속성으로 RNN을 보강하려는 시도가 증가하고 있다. Neural TuringMachineshave external ..

2018/11/14 - [Research/Artificial Intelligence] - Recurrent Neural Network (RNN)에서 소개했던 RNN은 기존의 신경망이 갖던 단점을 극복했지만 그렇다고 완벽한 것은 아니다. RNN의 아이디어를 적극적으로 활용하면서 높은 효과를 누릴 수 있어 가장 많이 활용되는 분야가 언어모델이다. 예를 들어 이전 단어를 어떻게 선택했는지를 활용해 다음에 입력될 단어를 예측하는 언어 모델을 가정했을 때 "the clouds are in the sky" 라는 문장에서 "the clouds are in the" 까지 입력을 받았을 때 다음 단어는 문맥과 관계없이 "sky"가 될 확률이 높다. (이 부분에서 한글로 예를 들고 싶었지만 한글은 어순과 문맥의 특성이 조..

나는 작다면 작고 적당히 크다면 큰 지방에 위치한 IT 중소기업에 다니고 있다. 그래도 나름 국책과제를 수행하는 부설연구소를 가지고 있고 R&D를 시작하면서 초기 멤버로 합류해 지금은 연구소장으로 근무하고 있다. 그렇다고 내가 IT와 관련된 전공을 가진 것도 아니다. 법학을 전공했고 MBA를 마친 뼛 속까지 철저히 인문, 사회과학 계열이다. 어쩌다보니 관심을 갖게 된 IT가 이젠 직장이 되었고 부족한 과학에 대한 공부를 이름만 말하면 다들 알만한 학교의 유명한 교수님들에게 배우며 두번째 석사를 곧 있으면 마친다. 인공지능을 주로 연구하고 있지만 신규 서비스 기획도 병행하고 있어 하나에 집중하기 보다는 성격대로 난잡하게 이것저것 손을 뻗어 닥치는 대로 일을 해왔다. 사실 나는 욕심만 많고 세상만사에 불만이..