신경망을 활용해 손글씨를 분류하는 아주 좋은 예제이자 많은 입문자들이 활용하고 있는 MNIST와 CIFAR의 예제가 아주 잘 설명되고 표현된 글(https://ml4a.github.io/ml4a/neural_networks/)이 있어 옮겨온다. MNIST는 28x28 픽셀 크기의 레이블된 손글씨 숫자 이미지 60,000개를 담고 있으며, 머신러닝 연구에서 분류 정확도 벤치마크에 널리 사용된다. 기본적으로 MNIST는 위와 같은 이미지 셋을 가지고 있는데 이런 이미지를 분류하기 위한 신경망은 원본 픽셀을 첫 번째 층의 입력으로 전달하고, 숫자 클래스 0에서 9까지마다 하나씩 10개의 출력 클래스를 가지게 된다. 흑백 이미지이기 때문에 각 픽셀은 0(검정색)에서 255(흰색)까지의 밝기를 가진다. 모든 MN..

arxiv의 A Study on Deep Learning Based Sauvegrain Method for Measurement of Puberty Bone Age의 원문과 국문 번역본이다. AbstractThis study applies a technique to expand the number of images to a level that allows deep learning. And the applicability of the Sauvegrain method through deep learning with relatively few elbow X-rays is studied. The study was composed of processes similar to the physicians' bone a..

2018/11/15 - [Research/Artificial Intelligence] - Long Short Terms Memory networks (LSTM) 에서 언급된 활성화 함수와 관련된 이야기이다. 인공 신경망과 생물학적 신경망 모두 뉴런이 받은 입력을 그대로 출력하지 않는다. 대신 뇌의 활동 전위 발화율에 대응하는 활성화 함수(activation function)라고 부르는 한 가지 단계를 더 거친다. 활성화 함수는 가중치 합 $z=b+\sum_{i}w_ix_i$ 을 입력받아 최종적 출력 전에 이를 다시 한번 변형시킨다. 많은 활성화 함수가 제안되었지만 여기서는 시그모이드(sigmoid)와 ReLU(rectified linear unit) 두 함수만 다룬다. 역사적으로 시그모이드 함수는 가장 ..

2018/11/14 - [Research/Artificial Intelligence] - Recurrent Neural Network (RNN)에서 소개했던 RNN은 기존의 신경망이 갖던 단점을 극복했지만 그렇다고 완벽한 것은 아니다. RNN의 아이디어를 적극적으로 활용하면서 높은 효과를 누릴 수 있어 가장 많이 활용되는 분야가 언어모델이다. 예를 들어 이전 단어를 어떻게 선택했는지를 활용해 다음에 입력될 단어를 예측하는 언어 모델을 가정했을 때 "the clouds are in the sky" 라는 문장에서 "the clouds are in the" 까지 입력을 받았을 때 다음 단어는 문맥과 관계없이 "sky"가 될 확률이 높다. (이 부분에서 한글로 예를 들고 싶었지만 한글은 어순과 문맥의 특성이 조..

순환신경망(RNN: Recurrent Neural Network)은 자연어 처리(NLP: Natural Language Processing) 문제에 높은 성능을 가지는 인기있는 신경망 모델이다. RNN은 기본적으로는 순차적으로 쌓여있는 정보를 처리한다는 아이디어에서 출발한다. 기존의 신경망 구조에서 입출력 각각이 독립적이라고 가정해왔는데 이는 일반적으로 옳지 않다고 여겨진다. 이에 동일한 태스크를 하나의 시퀀스의 모든 요소마다 적용하고 출력 결과는 이전의 계산 결과에 영향을 받게끔 구성한 것이 RNN이다. 이 말을 보다 쉽게 사람이 생각하는 방식에 적용해볼 수 있다. 예를 들어 어떤 사람이 하나의 생각을 말하기 위해 말하는 순간 순간 다시 방금 전의 생각을 지우고 다시 생각해내면서 말하지 않는다. 즉 이..

※ to 부정사 결합 형용사 - likely, bound, about, eager, ready, willing ※ 동사원형이 오는 것들 - help + 동사원형 - 조동사 + 동사원형 ※ Secure - 확보하다, 맺다 (= obtain) - 고정시키다 (= fasten) ※ 동명사를 목적어로 갖는 기출 타동사 - practice, mind, quit, put off, deny, enjoy ▷ [토익] 수일치, 시제 일치 한 방에 해결!▶ 수일치 1-1. one / either / each / every / another +가산단수N + is1-2. one / either / each +of the(소유격) 가산복수N + is1-3. every는 품사가 형용사 밖에 되지 않기 때문에 every of th..

나는 작다면 작고 적당히 크다면 큰 지방에 위치한 IT 중소기업에 다니고 있다. 그래도 나름 국책과제를 수행하는 부설연구소를 가지고 있고 R&D를 시작하면서 초기 멤버로 합류해 지금은 연구소장으로 근무하고 있다. 그렇다고 내가 IT와 관련된 전공을 가진 것도 아니다. 법학을 전공했고 MBA를 마친 뼛 속까지 철저히 인문, 사회과학 계열이다. 어쩌다보니 관심을 갖게 된 IT가 이젠 직장이 되었고 부족한 과학에 대한 공부를 이름만 말하면 다들 알만한 학교의 유명한 교수님들에게 배우며 두번째 석사를 곧 있으면 마친다. 인공지능을 주로 연구하고 있지만 신규 서비스 기획도 병행하고 있어 하나에 집중하기 보다는 성격대로 난잡하게 이것저것 손을 뻗어 닥치는 대로 일을 해왔다. 사실 나는 욕심만 많고 세상만사에 불만이..

육아에 전념하고 있지는 않지만 아내와 함께 키우는 우리 아이라는 생각도 들고 올바로 알지 않고 무턱대고 내가 경험하고 내가 알고 있다고 믿는 교육을 아내와 아이에게 강요하면 사실 부부싸움만 나지 별달리 좋을게 없을 것 같아서 틈만 나면 육아, 훈육과 관련된 자료를 찾아보던게 이젠 습관이 되어 유아교육과 재학 중인 것처럼 느껴지고 있다. 어쩌면 학위논문 작성할 때보다 더 많은 자료를 찾고 다양한 분야에서 관련된 선행연구들을 찾아본 것 같다. 사실 육아와 관련해서 힘들고 지치기도 하고 자책감도 많이 느껴서 이리저리 인터넷에서 정보를 찾아다니시는 분들이 많은데 조금 정확하게 이야기하면 육아에 정답은 없고 모든게 전부 케바케(Case by Case)라서 당신은 충분히 잘 하고 있는거고 정답은 당신이 지금 하는 ..

돌 잔치 하며 받은 제주 여행권 (제주에어투어)으로 자비를 추가하여 4박5일 일정으로 제주도를 다녀왔다. 사실 해외 여행이나 유학생 등 비행기 표 예매를 경험해본 사람이라면 대충 알겠지만 가장 비행기 값이 저렴하고 항공사 입장에서 기회비용을 최소화할 수 있는 티켓을 싸게 판매하거나 이렇게 저렴한 투어사에 넘겨버리는데 이번이 딱 그러한 경우였다. 제주도 도착 시간은 18시였고 다시 청주로 돌아오는 표는 오전 8시였다. 우리 딸은 잠을 잘 자려하지 않고 잠들기 보다 더 놀고 싶어하는 강력한 열정을 가진 아이라 우리 부부는 잠에 민감한 편이라 아침 비행기가 조금 걱정되었다. 어쨋든 계획은 계획이니 일정을 잡아야하는데 하루 종일 컴퓨터 앞에 앉아있는 직업을 가진데다가 학교 논문도 어느정도 마무리된 시점이라 여유..

제로나 카시트를 후방(뒤)보기로 사용하다가 전면으로 향하는 앞보기로 변경하려고 보니 발받침대 (리바운드) 때문에 돌아가지 않는 현상이 있다. 이를 해결하려면 리바운드를 제거해야한다. 암만 간이 설명서를 봐도 찾기 어렵고 인터넷에서도 간신히 찾아서 동일한 문제를 겪을 분들을 위해 블로그에 옮겨 놓는다.. 카시트를 다시 다 빼내는 건 번거로우니 발받침대의 중간의 공간에 손을 집어넣어 본체와 자동차 좌석 사이 공간으로 손을 밀어 넣고 본체 중앙 아래를 더듬어 보면 눌리는 (회색) 버튼이 있다 그걸 누른 상태로 다른 한 손으로 리바운드를 위로 당기면 아주 부드럽게 빠진다. 더 쉽게 말하면 본체 가운데 아래 부분의 회색 버튼을 누르고 리바운드를 들어올리면 된다. 제거하고 앞보기로 돌리고 쿠션 장착하면 끝! 근데 ..