← 분류:인공지능
해당 문서에 연결된 문서의 변경사항을 확인하려면 문서 이름을 입력하십시오. (분류에 들어있는 문서를 보려면 분류:분류명으로 입력하십시오). 내 주시문서 목록에 있는 문서의 변경사항은 굵게 나타납니다.
약어 목록:
- 새글
- 새 문서 (새 문서 목록도 보세요)
- 잔글
- 사소한 편집
- 봇
- 봇이 수행한 편집
- (±123)
- 바이트 수로 표현한 문서 크기의 차이
2025년 3월 29일 (토)
2025년 3월 27일 (목)
| 새글 05:46 | Time between token 차이역사 +1,383 Ahn9807 토론 기여 (새 문서: 분류: 인공지능 == 개요 == Time between token(TBT)는 LLM의 성능을 평가하는 지표중 하나로, 모델이 첫번째 토큰을 생성한후(TTFT)각 후속 토큰을 생성하는 데 걸리는 평균 시간을 의미한다. TBT는 다음과 같이 정의된다: TBT = <math>\frac{T_{\text{total}} - T_{\text{first}}}{N - 1}</math> 여기서, * <math>T_{\text{total}}</math> = 전체 응답 생성 시간 * <math>T_{\text{first}}</math> = 첫 번째 토...) | ||||
| 새글 05:42 | Time to first token 차이역사 +813 Ahn9807 토론 기여 (새 문서: 분류: 인공지능 == 개요 == Time to first token(TTFT)는 LLM의 성능을 평가하는 지표로, 사용자가 프롬프트를 입력한 후 첫 번째 토큰이 생성될 때까지 걸리는 시간을 의미한다. LLM의 Latency를 측정하는 데 사용된다. TTFT는 LLM이 "첫 반응을 제공하는 속도"를 나타내며, 사용자 경험에 큰 영향을 미친다. <syntaxhighlight lang=python> import time import openai start_time = time.time()...) | ||||