개요
비용 함수(Cost Function) 혹은 손실 함수(Loss Function)이란 회귀 분석에서 오차의 크기를 구하기 위해서 사용하는 함수들을 말한다. 비용함수는 기울기 하강 혹은 경사 하강법을 통해서 가중치들을 업데이트 하는데 사용한다.
종류
최소 제곱법
- 관측된 m개의 데이터 [math](x, y)[/math]에 대하여 단순 선형 회귀 모델을 다음과 같이 정의할 때,
- [math] h_\beta=\beta_0+\beta_1x [/math]
- 손실 함수 [math]J(\beta_0, \beta_1)[/math] 는 아래와 같이 정의할 수 있다.
- [math] J(\beta_0, \beta_1) = \frac{1}{2m}\sum_{i = 1}^{m} (h_\beta(x^{i}) -y^{i})^{2} [/math]