메뉴 여닫기
환경 설정 메뉴 여닫기
개인 메뉴 여닫기
로그인하지 않음
지금 편집한다면 당신의 IP 주소가 공개될 수 있습니다.

Gated recurrent unit

noriwiki
(GRU에서 넘어옴)


개요

GRU (Gated Recurrent Unit) RNN의 한 종류로, LSTM을 개선한 모델이다. GRU는 LSTM의 복잡한 구조를 간소화하고 계산 효율성을 높이기 위해 설계되었으며, 특히 시계열 데이터나 순차적 데이터를 처리하는 데 사용된다. GRU는 LSTM과 비슷한 방식으로 동작하지만, 구조가 더 단순하고 계산 자원을 덜 소모한다. GRU는 LSTM의 Input gate와 Forget gate, 그리고 Output gate를 하나의 Update gate와 Reset gate로 통합하여 효율을 높였다.

  • Update gate: 이 게이트는 현재 상태를 얼마나 이전 상태로 업데이트할지 결정한다. 이 값을 통해 모델이 얼마나 이전 정보를 기억할지 조절한다.
  • Reset gate: 이 게이트는 이전 정보를 얼마나 버릴지를 결정하며, 모델이 새로운 입력을 얼마나 중요하게 다룰지를 조절한다.

GRU는 LSTM과는 다르게 Cell state를 유지하지 않고, Hidden state만을 사용하기 때문에, LSTM보다 더 적은수의 파라미터를 사용하여 계산이 효율적이다.

같이 보기

  1. RNN
  2. LSTM