문서 편집 권한이 없습니다. 다음 이유를 확인해주세요: 요청한 명령은 다음 권한을 가진 사용자에게 제한됩니다: 사용자. 문서의 원본을 보거나 복사할 수 있습니다. [[분류: 딥러닝]] [[파일:Backward Propagation.png|500px|섬네일|가운데]] == 개요 == 최적화할 함수 <math>f(\mathbf{x})</math>에 대하여, 먼저 시작점 <math>\mathbf{x}_0</math>를 정한다. 현재 <math>\mathbf{x}_i</math>가 주어졌을 때, 그 다음으로 이동할 점인 <math>\mathbf{x}_{i+1}</math>은 다음과 같이 계산된다. :<math>\mathbf{x}_{i+1} = \mathbf{x}_i - \gamma_i \nabla f(\mathbf{x}_i)</math> 이때 <math>\gamma_i</math>는 이동할 거리를 조절하는 매개변수이다. (역 삼각형 기호는 [[그라디언트]]를 의미한다.) == Convergence of backprop == Perceptron은 convex optimization문제를 풀어야 한다. 이때 여러개의 global minimun (global minima-복수형)중에서 하나의 global minimum을 찾아야 한다. Mutilayer Perceptrons (MLP)는 convex하지 않는다. 따라서 Gradient decent는 local minima에서 수렴하게 된다. 그러나 이러한 local minima가 최선인지는 알 수가 없다. 즉 hyper-parameter설정이 매우 중요하게 된다. 또한 MLP에서 수렴하지 않을 수 있다. 즉 수렴성을 보장하지 않는다. 이러한 MLP를 학습시키기 위해서 back propagation이 사용된다. == GD 알고리즘 == 최적화할 함수 <math>f(\mathbf{x})</math>에 대하여, 먼저 시작점 <math>\mathbf{x}_0</math>를 정한다. 현재 <math>\mathbf{x}_i</math>가 주어졌을 때, 그 다음으로 이동할 점인 <math>\mathbf{x}_{i+1}</math>은 다음과 같이 계산된다. :<math>\mathbf{x}_{i+1} = \mathbf{x}_i - \gamma_i \nabla f(\mathbf{x}_i)</math> 이때 <math>\gamma_i</math>는 이동할 거리를 조절하는 매개변수이다. (역 삼각형 기호는 [[그라디언트]]를 의미한다.) 이때 인공지능에서는 이러한 GD 알고리즘을 계속해서 뒤로 Back propagation하면서 weight을 업데이트 하게 된다. Backward propagation 문서로 돌아갑니다.