Transformer: 편집 역사

2025년 3월 29일 (토)

• 최신이전 08:472025년 3월 29일 (토) 08:47 Ahn9807 토론 기여 10,638 바이트 −32 편집 요약 없음
• 최신이전 08:462025년 3월 29일 (토) 08:46 Ahn9807 토론 기여 10,670 바이트 +10,670 새 문서: 분류: Transformer model == 개요 == Transformer모델은 RNN의 한계를 극복하기 위해서 Attention을 최대한 활용하여, 문장내의 각 문맥의 중요도를 최대한 언어 모델에 반영하기 위해서 개발된 모델이다. Transformer모델에서 제안한 디자인은 크게 Tokenization, Embedding, Positional Encoding, Attention layer을 여러개 쌓아 만들어진 Encoder, Decoder부분 그리고 Encoder self-attention, Masked decode...