Activation Function.png

개요

딥러닝 네트워크에서는 노드에 들어오는 값들에 대해 곧바로 다음 레이어로 전달하지 않고 주로 비선형 함수를 통과시킨 후 전달한다. 이때 사용하는 함수를 활성화 함수(Activation Function) 이라 부른다.

종류

  1. Sigmoid
  2. Hyperbolic Tangent
  3. Rectified Linear Unity
  4. Leaky ReLU
  5. Exponential LU