[Clustering]Maximum Likelihood Estimation-최대우도법

1. What is Maximum Likelihood Estimation(MLE)

MLE 의 정의는 확률밀도함수 P(x|θ) 에서 관측되는 표본 데이터 x 를 통해서 θ 를 추정하는 방식이다.

5개의 데이터가 있다고 가정을 해보자.

x={1,4,5,6,9}

출처 : https://angeloyeo.github.io/2020/07/17/MLE.html

이중에서 데이터의 분포가 어떤 곡선이 더 데이터에 맞는 분포인지를 수학적으로 풀이한게 MLE 방식이라고 이야기한다.

 

2. Likelihood function

 

그렇다면 각 데이터의 분포를 측정하기 위해서 후보 분포들 중에서 데이터와 가장 맞는 분포인지를 수치적으로 환산하는 방식이 있어야 하는데 이것을 Likelihood funcion을 통해서 가능도를 수치화 한다.

 

식을 해석하자면 k 가 1 에서부터 n 까지 있다고 가정하면 이것의 데이터의 확률 밀도값 P를 모두 곱한것이 이 함수의 목적이다.

 

그렇다면 이전 1 번의 사진처럼 두 후보 분포 그래프가 있다고 가정하면 주어진 데이터에 따르면 주황색 분포다 당연히 Likelihood function에 대한 값이 더 크다는게 된다.

 

이렇게 이런 Likelihood function에 대하여 주어진 데이터에 대하여 이 함수가 최대로 하여 맞는 분포를 찾는게 MLE의 목표가 된다.

실재로 이 함수를 사용하기 위해서는 로그를 취해서 곱연산이 아닌 합 연산으로 계산이 가능하도록 사용하며 이것을 Log-likelihood function 이라고 한다.

 

 

3. MLE 최대값 찾기

보통 위의 식처럼 세타에 대하여 편미분을  통해서 그 값이 0 이 되는 값을 찾는다.