2018/11/15 - [Research/Artificial Intelligence] - Long Short Terms Memory networks (LSTM) 에서 언급된 활성화 함수와 관련된 이야기이다. 인공 신경망과 생물학적 신경망 모두 뉴런이 받은 입력을 그대로 출력하지 않는다. 대신 뇌의 활동 전위 발화율에 대응하는 활성화 함수(activation function)라고 부르는 한 가지 단계를 더 거친다. 활성화 함수는 가중치 합 $z=b+\sum_{i}w_ix_i$ 을 입력받아 최종적 출력 전에 이를 다시 한번 변형시킨다. 많은 활성화 함수가 제안되었지만 여기서는 시그모이드(sigmoid)와 ReLU(rectified linear unit) 두 함수만 다룬다. 역사적으로 시그모이드 함수는 가장 ..