개요
Dataset이 주어졌을 때, Train Error는 traning data에 Loss Function을 적용시킨 결과이다. 쉽게 말하자면, 검증 데이터로 현재까지 도출된 지도 학습 결과의 에러를 추측하는 일이다. 예를 들어서 L2 Regression을 Loss function으로 선택했을 경우 Tranining Error은 다음과 같이 정의된다.
- [math]error_{train}(w)=\frac{1}{N_{train}} \sum^{N_{train}}(t(x_j)-\sum_i w_ih_i(x_j))^2[/math]
Training set error는 결과 AI에 대한 poor measure으로써 작동한다. 즉 예측된 error를 예측해 낸다. 그러나 traning 에러의 값을 낮추면 낮출수록 overfitting이 일어나게 된다. Overfitting을 피하기 위해서 적절한 정도의 학습을 조절해야 되는데, 이를 위해서 사용되는 에러가 test에러이다. test에러는 traning에러를 예측할 떄 사용된 집합과 별도의 집합을 사용하여 error을 예측하게 된다. 즉 모델의 학습이 완료되었다고 생각되었을떄, 모델의 original error을 예측하기 위해서 사용되는 에러이다.
Traning Error vs Test Error vs True Error
- [math]error_{train}(w)=\frac{1}{N_{train}} \sum^{N_{train}}(t(x_j)-\sum_i w_ih_i(x_j))^2[/math]
- [math]error_{test}(w)=\frac{1}{N_{test}} \sum^{N_{test}}(t(x_j)-\sum_i w_ih_i(x_j))^2[/math]
- [math]error_{true}(w) = \int_x (t(x_j)-\sum_i w_ih_i(x_j))^2p(x)\ dx[/math]
Traning은 학습과정에서 예측되는 에러, Test는 True에러를 예측하기 위해서 사용하는 에러, True에러는 궁극적으로 구하고 싶은 에러. Trannin에러값이 너무 작아지면 오히려 bias-variance tradeoff 때문에 실측 에러가 더욱 작아지게 된다.