Time between token: 편집 역사

2025년 3월 27일 (목)

• 최신이전 05:462025년 3월 27일 (목) 05:46 Ahn9807 토론 기여 1,383 바이트 +1,383 새 문서: 분류: 인공지능 == 개요 == Time between token(TBT)는 LLM의 성능을 평가하는 지표중 하나로, 모델이 첫번째 토큰을 생성한후(TTFT)각 후속 토큰을 생성하는 데 걸리는 평균 시간을 의미한다. TBT는 다음과 같이 정의된다: TBT = <math>\frac{T_{\text{total}} - T_{\text{first}}}{N - 1}</math> 여기서, * <math>T_{\text{total}}</math> = 전체 응답 생성 시간 * <math>T_{\text{first}}</math> = 첫 번째 토...