메뉴 여닫기
환경 설정 메뉴 여닫기
개인 메뉴 여닫기
로그인하지 않음
지금 편집한다면 당신의 IP 주소가 공개될 수 있습니다.

Time to first token: 편집 역사

noriwiki

차이 선택: 비교하려는 판의 라디오 버튼을 선택한 다음 엔터나 아래의 버튼을 누르세요.
설명: (최신) = 최신 판과 비교, (이전) = 이전 판과 비교, 잔글= 사소한 편집

2025년 3월 27일 (목)

  • 최신이전 05:422025년 3월 27일 (목) 05:42 Ahn9807 토론 기여 813 바이트 +813 새 문서: 분류: 인공지능 == 개요 == Time to first token(TTFT)는 LLM의 성능을 평가하는 지표로, 사용자가 프롬프트를 입력한 후 첫 번째 토큰이 생성될 때까지 걸리는 시간을 의미한다. LLM의 Latency를 측정하는 데 사용된다. TTFT는 LLM이 "첫 반응을 제공하는 속도"를 나타내며, 사용자 경험에 큰 영향을 미친다. <syntaxhighlight lang=python> import time import openai start_time = time.time()... 태그: 시각 편집: 전환됨