인공지능 13주차

입력 링크에서 여러 신호를 받아 활성화 수준을 계산 후, 출력 링크로 출력 신호를 내보낸다.

출력 신호는 문제의 최종적인 해이거나 다른 뉴런에 입력이 될 수 있다.

 

뉴런은 활성화 함수를 사용

가중치 합이 임계값을 넘으면 +1 못넘으면 -1

 

계단과 부호 활성화 함수 -> 하드 리밋 함수 (분류, 패턴인식 작업)

시그모이드 함수는 양과 음의 무한대 사이에 있는 입력값을 0~1사이 적다한 값으로 바꿈

시그모이드 함수는 역전파 신경만에 사용된다.

선형 활성화 함수는 뉴런의 입력에 가중치가 적용된 것과 같은 출력값 내놓음

 

단인 뉴런 학습 -> 퍼셉트론(신경망의 가장 간단한 형태)

- 시냅스 가중치와 하드 리미터를 포함한 단일 뉴런으로 구성

 

가장 일반적인 활성화 함수 : 계단, 부호, 선형, 시그모이드

 

퍼셉트론 특징

입력 가중치 합이 양이면 +1 음이면 -1

 

퍼셉트론 기본 학습 방법

가중치를 조절하여 실제 출력과 목표 출력 간의 차이를 줄인다.

 

오차 계산 식 :: 오차 = 목표 출력 - 실제 출력

오차가 양이면 실제 출력 증가, 음이면 실제 출력 감소

 

Exclusive-OR연산자는 단층 퍼셉트론을 학습할 수 없다.

-> 선행 분리가 불가능하기 때문

 

단층 퍼셉트론은 선형 분리 가능한 함수만 학습 가능

- 선형 분리 가능한 함수가 많지 않다 (효율이 안좋다)

-> 다층 신경망으로 단층 퍼셉트론을 극복 가능

 

다층 신경망 구조

1) 입력층

- 외부 신호를 은닉층의 모든 뉴런으로 보냄

2) 출력층

- 은닉충에서 출력 신호(자극 패턴)을 받아 전체 신경망의 출력 패턴을 정함

3) 은닉층

- 입력의 특성 파악 -> 가중치는 입력 패턴에  숨겨져 있는 특성

- 출력층이 출력 패턴을 정할 때 이를 사용

- 은닉층은 목표 출력을 숨기고 있다.(은닉층의 목표 출력은 해당 층에서 자체 결정)

- 신경망에 은닉층이 두 개 이상 들어갈 수 있다.

 

-> 각 층에 각각 자신만의 특정 함수가 존재

- 학습은 퍼셉트론과 유사하게 진행

 

역전파 신경망

-> 세 개 또는 네 개의 층이 있는 다층망

-> 다층 신경망의 오차 원인을 평가

 

역전파 신경망의 학습 알고리즘 두 단계

1. 훈련 입력 패턴을 신경망의 입력층에 전달

2. 신경망은 출력층에서 출력 패턴이 생성될 때까지 층에서 층으로 입력 패턴을 전파

출력 패턴이 목표 패턴이 다르면 그 오차를 계산 후 출력층에서 입력층까지 신경망을 따라 거꾸로 전달.

-> 오차가 전파되며 가중치가 수정

 

오차 기울기 = 활성화 함수의 미분에 뉴런의 출력 오차를 곱한 것

 

역전파

1. 초기화 : 가중치 초기화는 각 뉴런별로 이루어짐, 모든 가중치와 임계값 수준을 좁은 범위 안에서 균등 분포를 따라 임의의 수를 놓음

2. 활성화 : 입력과 목표 출력을 적용하여 역전파 신경망을 활성화

3. 가중치 학습 : 오차를 역방향으로 전파시켜 역전파 신경망의 가중치를 갱신

- 출력층 뉴런에 대해 오차 기울기 계산

- 은닉층에 있는 뉴런의 오차 기울기 계산 후, 은닉층이 가중치를 갱신

4. 반복

 

오차 제곱합의 합

-> 0에 가까우면 성능이 좋다.

-> 학습 곡선은 신경망이 얼마나 빨리 학습하는가를 보여준다.

 

역전파 학습

널리 쓰이지만 문제에 대한 면역성이 없다.

생물학적인 영역에서 제대로 학습하지 못한다.

계산이 너무 방대하여 학습이 느리다.

기계 학습에 적합하지않다.