Ahn9807: 새 문서: 분류: 인공지능 == 개요 == Time between token(TBT)는 LLM의 성능을 평가하는 지표중 하나로, 모델이 첫번째 토큰을 생성한후(TTFT)각 후속 토큰을 생성하는 데 걸리는 평균 시간을 의미한다. TBT는 다음과 같이 정의된다: TBT = $\frac{T_{\text{total}} - T_{\text{first}}}{N - 1}$ 여기서, * $T_{\text{total}}$ = 전체 응답 생성 시간 * $T_{\text{first}}$ = 첫 번째 토...

2025-03-27T05:46:53Z

새 문서: 분류: 인공지능 == 개요 == Time between token(TBT)는 LLM의 성능을 평가하는 지표중 하나로, 모델이 첫번째 토큰을 생성한후(TTFT)각 후속 토큰을 생성하는 데 걸리는 평균 시간을 의미한다. TBT는 다음과 같이 정의된다: TBT = <math>\frac{T_{\text{total}} - T_{\text{first}}}{N - 1}</math> 여기서, * <math>T_{\text{total}}</math> = 전체 응답 생성 시간 * <math>T_{\text{first}}</math> = 첫 번째 토...

새 문서

[[분류: 인공지능]]

== 개요 ==
Time between token(TBT)는 [[LLM]]의 성능을 평가하는 지표중 하나로, 모델이 첫번째 토큰을 생성한후([[TTFT]])각 후속 토큰을 생성하는 데 걸리는 평균 시간을 의미한다.

TBT는 다음과 같이 정의된다:
TBT = <math>\frac{T_{\text{total}} - T_{\text{first}}}{N - 1}</math>
여기서,
* <math>T_{\text{total}}</math> = 전체 응답 생성 시간
* <math>T_{\text{first}}</math> = 첫 번째 토큰이 생성되기까지 걸린 시간 (Time to First Token, TTFT)
* N = 전체 토큰 수

<syntaxhighlight lang=python>
import time
import openai

response = openai.ChatCompletion.create(model="gpt-4", messages=[{"role": "user", "content": "Explain quantum mechanics"}], stream=True)

first_token_time = None
previous_token_time = None
token_intervals = []

for chunk in response:
if chunk["choices"][0]["delta"]:
current_time = time.time()
if first_token_time is None:
first_token_time = current_time
else:
if previous_token_time is not None:
token_intervals.append(current_time - previous_token_time)
previous_token_time = current_time

avg_tbt = sum(token_intervals) / len(token_intervals) if token_intervals else None
print(f"Average TBT: {avg_tbt:.3f} seconds")
</syntaxhighlight>

Time between token - 편집 역사