[수업]패턴인식 - Supervised learning(7)

1. Logistic regression

Logistic regression 은 classification 에서의 모델의 한 종류로서 sigmoid 함수를 이용한 방식으로 결과를 [0,1] 사이의 값으로 반환하여서 classification 을 수행하는 방식이다. LSE 방식은 예측값과 결괏값 0 , 1 의 차이를 통해서 에러를 계산하고 MLE 방식에서는 0일 확률과 1에서 0일 확률을 뺀 1일 확률을 기준으로 확률값으로 에러를 계산한다.

2. Binary Classification

 

Binary Classification 에서는 기본적인 함수와 w0 bias 와 같이 구성되어 있다. classification 에서는 그래프에서 표시되는 hyperplain이 그 데이터의 값을 표시하거나 하는것이 아니라 데이터를 분류하는 역할을 하게된다. 그래서 이런 함수값보다 크거가 작은것을 2 분류로 나누는것이 classification 에 대한 목적이라고 이야기 하는게 가능하다.

위의 사진을 예로들면 X2= - X1 +2 를 기본적인 함수로 표현이 가능하다.

 

f(x) = X2 + X2 - 2 

W^T X = [ -2, 1, 1] [1 x1 x2]^T 

이렇게 함수를 벡터로 표현을 한다면  weight 벡터와 input class 벡터 두개로 표현한다.

 

 

3. Multiple classes 

그렇다면 이제 분류하려는 class가 2개가 아닌 여러개 있는 경우면 어떻게 해야할까? 분류하는 클래스가 K 개라고(2 이상) 한다면 K-1 개의 classifier를 필요로 한다. 

하지만 이렇게 단순하게 classifier 를 구성하고 분류를 하게된다면 그림에서의 공간처럼 어느 부분에도 속하지 않는 그럼 부분이 존재를 하게된다. 이것을 모델의 오류임으로 반드시 문제를 해결을 해야한다.

 

그래서 이 문제를 해결하기 위해서 classifier를 한 지점에서 만나게하여 class를 구분하게 한다. 학습하는 과정은 classifier가 target으로 하는 class값들의 위치가 classifier로 하여금 값이 최대가 되도록 해야한다. 

 

classifier 가 잘 분류되었고 완전한 상태라고 이야기하는 방식은 뭐가 있으락?

위의 그림을 참고하면 어떤 클래스에 속한 값 2개를 랜덤하게 선택하고 그 사이제 존재하는 모든 값을이 같은 클래스에 속한다면 이것을 클래스가 잘 분류 되었다고 이야기 하는게 가능하다.