[ComputerVision] Neural Networks and Backpropogation

1. 퍼셉트론이란? 

코넬 항공 연구소에 근무하던 Frank Rosenblatt가 뉴런 모델을 기초로 퍼셉트론 학습 규칙이라는 개념을 고안하였다. 하나의 뉴런이 출력 신호를 발생할지 안할지 결정하기 위해 뉴런으로 들어오는 각 입력값에 곱해지는 가중치 값을 자동적으로 학습하는 알고리즘이다. 

다수의 트레이닝 데이터를 이용하여 일종의 지도 학습을 수행하는 알고리즘이라고 볼 수 있다. 

 

위 그림과 같은 구조에서 x 벡터들은 퍼셉트론 알고리즘으로 입력되는 값이며, w 벡터들은 x 벡터에 곱해지는 가중치이다. 

특성값 x벡터에 가중치 w벡터를 곱하고 모두 더하여 하나의 값으로 만드는데, 이 값을 만드는 함수를 순입력함수(net input) 함수라고하고, 순입력 함수의 결과값을 특정 임계값과 비교하고 순입력 함수의 결과가 임계값보다 크면 1, 그렇지 않으면 0을 정의한다. 그리고 이 함수를 활성함수(Activation function)이라고 부른다. 

Single layer Perceptron

Multi layer Perceptron

 

2. 그래디언트와 자코비안

참고)

https://ko.d2l.ai/chapter_deep-learning-basics/mlp.html

https://blog.naver.com/samsjang/220948258166