반응형

분류 전체보기 1751

최소 평균 제곱법 (Least Mean Squares Method, Widrow-Hoff Learning) [첫번째]

최초작성일:2016.6.20 아래의 그림에 대해, 점선안에 있는 관계도가 있다고 가정하자.(뉴럴네트워크에서는, 사람의 신경 구조와 같이, 자극의 입력에 대한 출력 덩어리를 뉴런이라고 부른다.) 여기서는 세개의 입력에 대해서, 세개의 가중치를 적용한 뒤에 하나의 출력을 내 보낸다.이와 같은 구조에서의 "최소 평균 제곱법" 에 대한 알고리즘의 유도를 여기서 해 보려고 한다.(내가 공부하면서 정리한 것이므로, 뭔가 부족 할 수도 있다... ) 우선 학습 가중치를 갱신하기 위한 수식을 작성한다. 위와같이 가중치의 변화량은 현재(t)의 가중치w 에 한스텝 전(t-1)의 가중치 w를 빼 주는 것과 같다. 가중치를 조절하기 위해서 경사하강법을 이용해서 수식을 유도한다.우리가 원하는 것은, 총 평균 제곱의 합을 최소하..

뉴럴 네트워크의 흐름

1943년: McCulloch 와 Pitts의 뉴론 모델의 제안 1949년: Hebb의 학습 제안, 실제의 신경회로를 조사하여 뉴론간의 결합강도는 뉴론의 입력과 출력이 함께 활성되었을 경우에 강화되는 방법. 1957년: Rosenblatt는 최초로 패턴인식에 대한 학습 모델을 제안하였다. (퍼셉트론의 시작) Rosenblatt의학습은 네트워크의 입력패턴을 분류하여, 그 결과를 교사 데이터와 다른 값이면 연결 가중치를 수정하는 방식이다. 그러나, 완전식 식별되지 않는 과제에 대해서는, 계산횟수를 늘려도 학습이 되지 않는 경우도 생긴다. 1960년: Widrow 와 Hoff의 Adaline(Adaptive Linear Neuron)의 제안, 최소자승법의 아이디어를 이용한 뉴론의 학습법.

경사하강법 (Steepest descent method, 最急降下法)

"경사하강법"이란 함수의 기울기로 최소값을 찾아내는 알고리즘으로, 뉴럴네트워크를 공부하면서 나오는 기초 알고리즘 중의 하나이다. 값을 찾기위한 경사하강법의 수식은 아래와 같다. 여기서 (nabla) 는 벡터공간에 대한 스칼라 장의 구배를 의미한다. 간편한 프로그래밍의 예를 들기위해 사용을 할 것은 2차함수이므로, x항에 대한 편미분 항 이외는 무시 할 수 있다. 따라서 아래와 같이 간략하게 나타낼 수 있다. 여기서 는 학습계수로써, 값을 크게 할 수록 반복계산 횟수는 짧아지지만, 결과값에 최대한 근접하기 위해서 결과가 진동을 하게 된다. 이와는 반대로, 값을 작게 하면 결과는 좀 더 정확하게 나오지만, 값을 찾기까지의 시간이 더 오래걸린다. 따라서, 자기가 해결하고 싶은 상황에 따라서 값을 구하는 것을 ..

크로메틱 하모니카를 일본에서 구입하다.

일본 아마존에서 SWAN제 (SW1040) 크로메틱 하모니카를 구입해 봤다. 스완은 중화기업이라서 어떨까 싶었는데, 가격이 싼데도 음질은 괜찮게 나와주는거 같더라. 크로메틱 하모니카가 ¥ 2,698이라는 가격에 팔고 있으니 부담없는 가격인 것 같다. 나같이 처음에 배워나가기 시작하는 사람에게는 비싼것 보다는 이런것으로 익숙해 져 나가는 것도 좋을 듯 하다. 아래의 사진은, 위에서부터, 크로메틱(C), 트레몰로(C), 다이아토닉(Bm) 하모니카. 하모니카 가격을 이번에 알아보고 느낀 것은, 무슨 덕질을 하든지 일본이 비교적 싸다는 것을 알았다.

Hobby/하모니카 2016.06.17

동경 타치카와 시티은행 가는법 (立川 Citi bank)

동경에 살긴 하는데, 히노시 근처라서 신주쿠 방면으로 나가기도 힘들다. 그래서 타치카와 역 부근에 있는 시티은행을 주로 가는데, 가는 방법에 대한 설명을 적어 놓는다. 1. JR立川역에서 내려서 북쪽출구쪽(루미네 방향)으로 쭉 걸어 나오면 위와 같이 흰색의 캐노피 로드가 보이는데, 그 길을 쭉 따라 가다가, 왼쪽에 바로 나오는 에스컬레이터를 타고 내려간다. 빅 카메라의 맞은편으로 내려가는 것이 되겠다. 2. 에스컬레이터를 타면 이런 광경이 펼쳐진다. 쭉 길 따라서 걸어간다. 3 PRESTIA라는 녹색 간판이 보일 때까지 걸어간다. 여기가 바로 구 시티은행이 있던 자리이다. 시티은행이 다른은행과 병합된 후에 간판이 바뀐 듯하다. 2017년까지는 시티은행 업무를 병행해서 봐준다고 하더라. 4. 입구에도 시티..

반응형