운동하는 공대생

1. How to Update the Parameter 이전까지 모델의 Error를 구하고 모델이 가지고 있는 변수들의 의미를 알아보았다. 하지만 여기서 이제는 그럼 파라미터를 업데이트하는 학습의 과정은 어떻게 이루어지는지를 설명을 해보도록 하겠다. 예시를 들어 설명을 하자면 위와 같은 데이터가 있다고 가정해보자. 그리고 h(x)라는 basis 모델이 있다고 가정을 해보겠다. 여기서 파라미터의 값을 gradient descent 방식으로 업데이트를 한다고 가정하면 파라미터 값을 임의의 값으로 초기화를 시켜주고 데이터를 대입하여 error를 계산하고 그 값을 통해서 파라미터를 업데이트하는 방식으로 적용이 된다. 위의 식에서 처럼 LSE 방식을 활용하여서 전체 데이터와 정답인 y값의 차이를 활용하여서 err..

1. Linear Basis Function Models 이전까지는 모델에 대하여 단지 다항함수로만 표현을 했지만 이것을 통합적으로 표현 가능한 수식이 존재한다. 여기서 parameter값이 w를 제외한 함수를 basis 함수라고 이야기한다. 다항함수로 구성된 basis 함수를 M 값에 따라서 다양하게 표현이 가능하고 이는 matrix의 형식으로 표현한다. 기본 식에서 basis function 이 이제 일반적인 다항함수 일 때의 모습을 왼쪽 그림으로 표현이 가능하다. 가우시안을 따르는 basis function은 uj의 값에 따라서 위치만 이동할 뿐 모양을 일정하다. 하지만 uj와 s는 각각 하이퍼 파라미터로서 가각 위치와 스케일을 지정한다. 이렇게 값을 구분하는 basis function 을 지정하는..

1. What is Maximum Likelihood Estimation(MLE) MLE 의 정의는 확률밀도함수 P(x|θ) 에서 관측되는 표본 데이터 x 를 통해서 θ 를 추정하는 방식이다. 5개의 데이터가 있다고 가정을 해보자. x={1,4,5,6,9} 이중에서 데이터의 분포가 어떤 곡선이 더 데이터에 맞는 분포인지를 수학적으로 풀이한게 MLE 방식이라고 이야기한다. 2. Likelihood function 그렇다면 각 데이터의 분포를 측정하기 위해서 후보 분포들 중에서 데이터와 가장 맞는 분포인지를 수치적으로 환산하는 방식이 있어야 하는데 이것을 Likelihood funcion을 통해서 가능도를 수치화 한다. 식을 해석하자면 k 가 1 에서부터 n 까지 있다고 가정하면 이것의 데이터의 확률 밀도값..