해당 문서에 연결된 문서의 변경사항을 확인하려면 문서 이름을 입력하십시오. (분류에 들어있는 문서를 보려면 분류:분류명으로 입력하십시오). 내 주시문서 목록에 있는 문서의 변경사항은 굵게 나타납니다.
약어 목록:
- 새글
- 새 문서 (새 문서 목록도 보세요)
- 잔글
- 사소한 편집
- 봇
- 봇이 수행한 편집
- (±123)
- 바이트 수로 표현한 문서 크기의 차이
2025년 3월 31일 (월)
|
|
새글 04:09 | KV Cache 2개 바뀜 역사 +3,751 [Ahn9807 (2×)] | |||
|
|
04:09 (최신 | 이전) +3,258 Ahn9807 토론 기여 태그: 시각 편집: 전환됨 | ||||
| 새글 |
|
03:45 (최신 | 이전) +493 Ahn9807 토론 기여 (새 문서: 분류: Transformer model == 개요 == Autoregression모델에서, KV Cache는 전에 계산한 K값과 V값들을 캐싱하여, 현재 토큰을 계산하는데 필요한 중복되는 연산을 줄여서 생성 속도의 향상을 꾀하는 Caching모델이다. KV Cache는 대표적인 Computing & Memory trade-off를 이용한 방법이다. == 필요성 == 파일:KV_Cache.gif|프레임없음|600픽셀|가운데|https://medium.com/@joaolages/kv-caching-explained-2765...) 태그: 시각 편집: 전환됨 | |||
2025년 3월 29일 (토)
|
|
새글 08:47 | Transformer 2개 바뀜 역사 +10,638 [Ahn9807 (2×)] | |||
|
|
08:47 (최신 | 이전) −32 Ahn9807 토론 기여 | ||||
| 새글 |
|
08:46 (최신 | 이전) +10,670 Ahn9807 토론 기여 (새 문서: 분류: Transformer model == 개요 == Transformer모델은 RNN의 한계를 극복하기 위해서 Attention을 최대한 활용하여, 문장내의 각 문맥의 중요도를 최대한 언어 모델에 반영하기 위해서 개발된 모델이다. Transformer모델에서 제안한 디자인은 크게 Tokenization, Embedding, Positional Encoding, Attention layer을 여러개 쌓아 만들어진 Encoder, Decoder부분 그리고 Encoder self-attention, Masked decode...) | |||
2025년 3월 28일 (금)
|
|
새글 04:04 | Attention 2개 바뀜 역사 +7,501 [Ahn9807 (2×)] | |||
| 잔글 |
|
04:04 (최신 | 이전) 0 Ahn9807 토론 기여 (→직관적인 Attention의 이해) 태그: 시각 편집 | |||
| 새글 |
|
04:04 (최신 | 이전) +7,501 Ahn9807 토론 기여 (새 문서: 분류: Transformer model == 개요 == Attention은 기계학습에서 Sequence의 각각의 부분이 얼마나 중요한지를(즉, 얼만큼 관심있게 처리해야 할지를) 결정하는 매커니즘이다. Attention is all you need논문이 나오기 전에는 RNN에 의한 방법들이 많이 사용되었으나, 그후에는 Transformer모델이 주축이 되어서 Attention을 처리하고 있다. Attention매커니즘은 RNN의 단점인, Vanishing gradie...) | |||