AI API 지연 지표: TTFT, 첫 유효 응답과 출력 속도

요청 시간축에서 상위 제공자 응답 헤더, 첫 SSE 이벤트, 첫 유효 응답, 첫 표시 텍스트, 전체 지연과 출력 속도를 구분하는 가이드입니다.

AI API 지연 지표: TTFT, 첫 유효 응답과 출력 속도

AI API 지연 시간은 하나의 숫자가 아닙니다. 스트리밍 요청에서는 상위 제공자의 응답 헤더, 첫 번째 비어 있지 않은 SSE 이벤트, 첫 번째 유효한 콘텐츠 또는 동작, 첫 번째 표시 텍스트, 응답 완료 시점을 각각 기록해야 합니다. 서로 다른 질문에 답하는 지표를 모두 TTFT라고 부르면 원인을 구분할 수 없습니다.

텍스트 전용 채팅에서는 첫 표시 텍스트까지의 시간이 사용자 경험을 나타냅니다. 추론 또는 도구 작업 흐름에서는 함수 인수와 같은 첫 유효 출력이 더 일찍 나타날 수 있습니다. 생성 속도는 출력이 시작된 이후 별도로 측정합니다.

지표 이름보다 요청 시간축부터 만들기

같은 단조 시계와 기준 시점을 사용합니다.

t0  게이트웨이가 요청 수신
t1  상위 제공자 요청 시작
t2  상위 제공자 응답 헤더 도착
t3  첫 번째 비어 있지 않은 SSE 이벤트 도착
t4  첫 번째 유효한 콘텐츠 또는 동작 도착
t5  첫 번째 표시 텍스트 증분 도착
t6  상위 제공자 응답 본문 완료 또는 종료
t7  게이트웨이 처리 완료

모든 요청에 모든 시점이 있는 것은 아닙니다. 없는 값은 0이 아니라 결측값으로 저장해야 합니다.

필드 측정 내용 경계
auth_ms 토큰과 사용자 인증 로컬 단계
distribution_ms 채널 선택과 라우팅 로컬 단계
body_read_ms 하위 요청 본문 읽기 라우팅 전 느린 업로드 탐지
upstream_headers_ms 상위 요청 시작부터 응답 헤더까지 게이트웨이 수신 시점이 기준이 아님
first_sse_event_ms 수신부터 첫 SSE 이벤트까지 메타데이터만 포함할 수 있음
first_response_ms 첫 유효 콘텐츠 또는 동작까지 텍스트, 추론, 함수 인수 포함
first_text_delta_ms 첫 표시 텍스트까지 텍스트가 없으면 결측값
upstream_done_ms 상위 응답 본문 종료까지 종료가 성공을 뜻하지 않음
total_handler_ms 중계 최종 완료점까지 게이트웨이 전체 시간에 가장 가까움
visible_output_tps 출력 토큰 / 표시 생성 구간 사용자 출력 진단용이며 시스템 전체 TPS가 아님

기준 시점이 다른 지속 시간을 직접 빼지 마십시오.

TTFT의 실제 의미를 구분하기

NVIDIA NIM 벤치마크 가이드는 TTFT에 네트워크, 대기열, 프롬프트 사전 처리가 일반적으로 포함되며 비어 있는 초기 응답은 제외해야 한다고 설명합니다. 현대 API는 표시 텍스트 전에 메타데이터, 추론 요약, 함수 인수, 도구 입력, 연결 유지 신호를 보낼 수 있습니다.

이름 권장 의미 용도
헤더까지의 시간 요청 시작부터 상위 제공자 응답 헤더까지 네트워크와 요청 수용 단계
첫 이벤트까지의 시간 첫 번째 비어 있지 않은 SSE 이벤트까지 전송 계층의 활성 상태
첫 유효 응답까지의 시간 유용한 콘텐츠 또는 동작까지 에이전트와 추론의 응답성
첫 표시 텍스트까지의 시간 화면에 표시할 수 있는 텍스트까지 채팅 사용자 경험

대시보드가 TTFT만 표시한다면 어떤 정의를 사용하는지 반드시 문서화합니다.

응답성과 생성 속도 분리하기

end_to_end_latency = final_response_time - request_start_time
visible_generation_window = final_response_time - first_visible_text_time
visible_output_tps = output_tokens / visible_generation_window_seconds

토큰 간 지연 시간은 TTFT를 제외하고 보통 남은 시간을 output_tokens - 1로 나눕니다. SSE 이벤트나 텍스트 증분 수를 토큰 수로 사용하면 안 됩니다. 이벤트 하나에는 토큰이 없거나 여러 개 있을 수 있습니다.

첫 텍스트가 빠르고 TPS가 낮으면 빠르게 시작한 뒤 느려집니다. 첫 텍스트가 늦고 TPS가 높으면 오래 멈춘 뒤 빠르게 끝납니다. 사용자별 TPS와 전체 처리량도 서로 다른 지표입니다.

추론과 도구 결과가 표시 텍스트보다 먼저 올 수 있음

텍스트 전용 응답에서는 first_response_ms와 first_text_delta_ms가 비슷합니다. 함수 호출 인수가 1.8초, 표시 텍스트가 6.4초에 온다면 시스템은 1.8초에 실행 가능한 동작을 만들었지만 사용자는 6.4초까지 텍스트를 보지 못했습니다.

  • 터미널 에이전트에는 첫 유효 동작이 중요합니다.
  • 텍스트 전용 인터페이스는 첫 표시 텍스트를 사용합니다.
  • 도구 호출 API에는 표시 텍스트가 없을 수 있습니다.
  • 이른 SSE 봉투는 연결 진행만 증명합니다.

AI API 스트리밍 가이드의 파서 경계를 적용한 뒤 지표를 계산해야 합니다.

느린 단계를 고정된 순서로 진단하기

증상 핵심 지표 우선 확인
헤더 전 지연 upstream_headers_ms 네트워크, 요청 수용, 대기열, 경로, 리전
헤더 후 유효 출력 지연 first_response_ms 모델 대기열, 사전 처리, 추론, 진행 중 요청
이벤트는 빠르고 출력은 늦음 SSE와 응답 사이의 차이 메타데이터, 연결 유지 신호, 추론 시작
동작은 빠르고 텍스트는 늦음 응답과 텍스트 사이의 차이 도구, 추론 또는 응답 구성
텍스트 후 생성이 느림 visible_output_tps 디코딩, 자원 경합, 긴 컨텍스트
상위 제공자 정상 로컬 필드 인증, 정책, 클라이언트 업로드

지표 하나만으로 근본 원인을 단정하지 말고 경로, 리전, 제공자, 동시 부하를 함께 봅니다.

세 가지 합성 추적 기록 읽기

추적 A: 상위 제공자 응답 헤더 대기

지표 값
upstream_headers_ms 6,100 ms
first_sse_event_ms 6,300 ms
first_response_ms 6,350 ms
first_text_delta_ms 6,400 ms
total_handler_ms 9,200 ms
visible_output_tps 42

대부분의 지연이 헤더 전에 발생합니다. 사용자 인터페이스보다 경로, 요청 수용 단계, 네트워크, 리전, 부하를 먼저 확인합니다.

추적 B: 표시 텍스트보다 빠른 동작

지표 값
upstream_headers_ms 240 ms
first_sse_event_ms 310 ms
first_response_ms 2,900 ms
first_text_delta_ms 8,700 ms
total_handler_ms 10,200 ms
visible_output_tps 55

2.9초에 유효한 동작이 있지만 텍스트는 5.8초 뒤에 나타납니다. 추론 또는 도구 단계를 확인해야 하며 헤더 대기 시간을 늘려도 해결되지 않습니다.

추적 C: 빠른 시작, 느린 생성

지표 값
upstream_headers_ms 260 ms
first_sse_event_ms 330 ms
first_response_ms 420 ms
first_text_delta_ms 430 ms
total_handler_ms 20,430 ms
visible_output_tps 9.8

텍스트는 빨리 나오지만 생성에는 20초 가까이 걸립니다. 출력 길이, 컨텍스트, 채널, 진행 중 요청 수, 제공자를 비교합니다. 첫 출력 대기 시간으로는 이 문제를 잡을 수 없습니다.

통제된 조건에서만 지연 시간 비교하기

정확한 모델과 경로, 입력·출력 토큰 분포, 스트리밍 모드, 추론 강도, 도구, 리전, 네트워크 경로, 동시 실행 수, 샘플링 설정, 최대 출력, 예열, 재시도 정책, 표본 크기, 백분위 계산법을 기록합니다.

평균 하나 대신 p50, p95, p99를 비교하고 대기 시간 초과와 오류를 제외하지 마십시오. 프롬프트, 출력 길이, 동시 실행 수가 다르면 모델 속도 순위로 제시할 수 없습니다.

콘텐츠 대신 진단 메타데이터 보관하기

요청 ID, 타임스탬프, 모델, 그룹, 채널 참조, 상태, 토큰 수, 시간 필드, 이벤트 수, 진행 중 요청 수, 대략적인 리전, upstream_headers_slow 같은 분류자만으로도 진단할 수 있습니다.

프롬프트, 응답, API 키, 평문 신원 정보를 저장할 필요는 없습니다. 메타데이터에도 보존 기간과 접근 제어를 적용합니다.

조사는 시간축에서 시작하고 안정적인 AI API 라우팅으로 각 시도의 경로를 비교하며 AI API 오류 문제 해결로 최종 상태를 연결합니다. 이렇게 요청 수용 단계, 모델 시작, 추론 또는 도구, 표시 텍스트 생성, 로컬 게이트웨이 부하를 분리할 수 있습니다.