[머신러닝] 인공신경망

인공신경망

- 인간의 두뇌구조를 모방한 지도학습 방법

- 여러 개의 뉴런들을 상호 연결하여 입력에 상응하는 최적의 출력 값을 예측

- 분류와 예측을 위해 사용되는 모형

- 신경망의 학습 및 기억 특성들은 인간의 학습과 기억의 특성을 닮았고 특정사건으로부터 일반화하는 능력도 또한 갖고 있다.

(문자, 음성, 이미지 인식, 증권시장 예측, 날씨 예보 등 다양한 분야에서 활용)

 

신경망 구조와 개념

- 입력계층 : 각 입력변수에 대응되는 노드 (노드의 수=입력변수의 개수)

- 은닉계층 : 입력층으로부터 전달되는 변수 값들의 선형결합을 비선형함수

로 처리하여 출력층 또는 다른 은닉층에 전달

- 출력계층 : 목표변수에 대응되는 노드 (분류모형 : 그룹의 수 만큼 생성)

 

SLP (Single-layer perceptron) 입력층과 출력층으로만 구성된 신경망 모형

MLP (Multi-layer perceptron) 입력층, 은닉층, 출력층으로 구성된 신경망 모형

 

결합함수 (Combination Function)

입력층 또는 은닉층의 마디들을 결합하는 함수

대부분의 신경망에서 결합함수로 선형결합을 사용

활성함수 (Activation Function)

입력변수 또는 은닉마디의 결합을 변환하는 함수

일반적으로 S자형의 비곡선 형태를 가지며 시그모이드 함수를 사용

 

범용근사자 (Universal approximator)

적절한 활성함수와 적당한 수의 은닉마디를 가지는 MLP는 모든 비선형 곡

선을 매우 정확하게 근사시킬 수 있다는 것을 의미

 

일반적으로 신경망의 가장 큰 장점

높은 예측 정확도

신경망의 구조는 다른 분류모형에서는 불가능한 입력변수와 출력변수 사이의 매우 복잡한 관계를 파악.

 

일반적으로 신경망의 가장 큰 장점

높은 예측 정확도

신경망의 구조는 다른 분류모형에서는 불가능한 입력변수와 출력변수 사이의 매우 복잡한 관계를 파악.

 

신경망의 특징과 적용상의 문제점

- 목적함수를 최적화하는 계수값을 찾는 것은 매우 어려운 작업이다.

- 신경망은 다양한 모형을 포함하는 유연한 모형이다.

- 데이터로부터 계수를 추정하기 때문에 실제로 MLP는 이론과 같이 유연하지 못하다.

- 주어진 함수를 근사화하기 위해 매우 많은 수의 은닉마디가 필요할 수 있다.

은닉층과 은닉마디가 많을수록 신경망은 더욱 복잡해지며, 추정해야 할 계수의 수가 급격히 증가 -> 최적화가 어렵게 된다.

- 적절한 은닉층과 은닉마디의 수를 결정하기 위해서 시행착오적인 방법이외의 별 다른 대안이 없는 경우가 많다.

 

- 비선형모형에서 분석적인 해가 존재하지 않기 때문에 일반적인 최적화 방법을 사용한다.

1. 각 계수에 대해서 임의의 초기값을 부여

2. 새로운 값 = 이전 값 + 수정 값” 공식을 이용

3. 수렴할 때까지 반복 수행

 

 

 

 

\