Regression(회귀) - Gradient Descent(경사 하강법)

What is Gradient Descent

이전 글에서 이야기했지만 회귀 분야에서 예측값과 실제값의 차이, 즉 비용을 최소화해주는 게 가장 중요하다. 이때 이 비용 값을 최소화해주는 방식이 Gradient Descent(경사 하강법)이다. 

 

이 이론이 등장한 배경은 직관적인 단순 선형 회귀가 아닌 함수상으로 생각하기 어려운 다중으로 종속변수가 존재하는 상황에서는 RSS 비용 값을 최소화하기 위해서 데이터를 기반으로 알고리즘을 학습하는 이 방식이 등장하게 되었다.

수학 공식은..... 생략..ㅎㅎ

 

 

 

pic13.mp4

1.28MB

출처: https://angeloyeo.github.io/2020/08/16/gradient_descent.html

 위의 동영상을 참조하면 처음 초기 값에서 RSS 비용 함수의 비용 값이 큰 상황의 함수가 있다. 이때 이 비용 값을 최소화해아하니 점점 기울기를 줄여서 RSS비용 값이 최소가 되는 지점을 찾는다.