검색 여닫기
검색
메뉴 여닫기
515
223
4
2천
noriwiki
둘러보기
대문
최근 바뀜
임의의 문서로
미디어위키 도움말
특수 문서 목록
파일 올리기
환경 설정 메뉴 여닫기
notifications
개인 메뉴 여닫기
로그인하지 않음
지금 편집한다면 당신의 IP 주소가 공개될 수 있습니다.
user-interface-preferences
한국어
개인 도구
로그인
Attention: 편집 역사
도움말
noriwiki
문서 공유하기
다른 명령
이 문서의 기록 보기
특정판 필터링
펼치기
접기
끝 날짜:
태그
필터:
wikieditor (숨긴 태그)
넘겨주기 대상 변경
넘겨주기 제거
되돌려진 기여
비우기
새 넘겨주기
서버측 업로드
수동 되돌리기
시각 편집
시각 편집: 전환됨
선택 반전
판 보이기
차이 선택: 비교하려는 판의 라디오 버튼을 선택한 다음 엔터나 아래의 버튼을 누르세요.
설명:
(최신)
= 최신 판과 비교,
(이전)
= 이전 판과 비교,
잔글
= 사소한 편집
2025년 3월 28일 (금)
최신
이전
04:04
2025년 3월 28일 (금) 04:04
Ahn9807
토론
기여
잔글
7,501 바이트
0
→
직관적인 Attention의 이해
태그
:
시각 편집
최신
이전
04:04
2025년 3월 28일 (금) 04:04
Ahn9807
토론
기여
7,501 바이트
+7,501
새 문서:
분류: Transformer model
== 개요 == Attention은 기계학습에서 Sequence의 각각의 부분이 얼마나 중요한지를(즉, 얼만큼 관심있게 처리해야 할지를) 결정하는 매커니즘이다. Attention is all you need논문이 나오기 전에는
RNN
에 의한 방법들이 많이 사용되었으나, 그후에는
Transformer
모델이 주축이 되어서 Attention을 처리하고 있다. Attention매커니즘은 RNN의 단점인, Vanishing gradie...