간절히 바라면 이루어 진다.

최초작성일:2016.6.20 이전의 글에 이어서 프로그래밍 연습을 해 보는 것이니, 이전글을 참고 하고 싶은 분은 아래의 링크를 따라가 주길 바란다.(이전글의 링크: 최소 평균 제곱법 (Least Mean Squares Method, Widrow-Hoff Learning) [첫번째]) 위와같이 A와 B의 집단을 가로지르는 직선 y에 대한 함수가 있다고 가정할때 그 값을 구하기 위한 Adaline의 적용례 이다. 위의 그래프를 기준으로, 두가지 입력 A,B에 따라서 출력값이 달라져야 한다. 따라서, 선분 y의 학습에 따른 그룹을 분류하기 위해, A: 1, B: -1로 하여 두 그룹을 분리한다. 먼저 학습을 위한 뉴런을 디자인 하자면 아래와 같이 나타 낼 수 있다. 위의 뉴런구조에 대한 출력값의 계산식은 아..

최초작성일:2016.6.20 아래의 그림에 대해, 점선안에 있는 관계도가 있다고 가정하자.(뉴럴네트워크에서는, 사람의 신경 구조와 같이, 자극의 입력에 대한 출력 덩어리를 뉴런이라고 부른다.) 여기서는 세개의 입력에 대해서, 세개의 가중치를 적용한 뒤에 하나의 출력을 내 보낸다.이와 같은 구조에서의 "최소 평균 제곱법" 에 대한 알고리즘의 유도를 여기서 해 보려고 한다.(내가 공부하면서 정리한 것이므로, 뭔가 부족 할 수도 있다... ) 우선 학습 가중치를 갱신하기 위한 수식을 작성한다. 위와같이 가중치의 변화량은 현재(t)의 가중치w 에 한스텝 전(t-1)의 가중치 w를 빼 주는 것과 같다. 가중치를 조절하기 위해서 경사하강법을 이용해서 수식을 유도한다.우리가 원하는 것은, 총 평균 제곱의 합을 최소하..