운동하는 공대생

이전까지 이제 hypothesis function을 구성하는 parameter들을 MSE(Mean Squared Error)를 통해서 Error를 구하고 Cost Function 또 구성하는 parameter를 Least Square 방식을 통해서 구하는 거에 대하여 공부했다. 이번에는 Gradient Descent 방식을 통해서 구하는 것에 대하여 정리하겠다. 1. Gradient Descent 기본적인 프로세스는 cost function에서 일정 파라미터에 대하여 특정 시작점을 지정하고 점점 이동하면서 목표로 하는 지점까지 이동하는 방식이다. 한국어로 해석하면 경사하강법이라고 이야기를 한다. 식을 통해서 알 수 있듯이 파라미터의 값을 일정 gradient 값과 알파 값을 곱한 값을 빼서 파라미터를 업..

Linear Regression에서 기본적인 프로세스는 1. Hypothesis를 지정 2. Model train 3. 예측 이렇게 구성이 된다. 모델에 대한 함수를 지정하고 데이터를 기반으로 함수에 대한 파라미터를 정해나가는 방식이라고 생각할 수 있다. 1. 용어 정리 먼저 데이터의 구성이 1차원이라고 가정을 한다면 x : input feature(입력 데이터) y : target variable(목표 변수) (x, y) : 훈련 데이터 (x(i), y(i)) : i번째 훈련 데이터 2. Error Error 란 모델이 예측한 값과 실제값의 차이를 Error 혹은 Cost라고 한다. 그리서 이런 값들을 최소화하는 게 모델 훈련의 목적이라고 이야기를 할 수 있다. 그렇다면 이런 Error를 구하는 방식은..