Métricas de latencia de API de IA: TTFT, primera respuesta y velocidad
Guía basada en la secuencia temporal para separar cabeceras del proveedor, primer evento SSE, primera respuesta efectiva, texto visible, latencia total y velocidad de salida.

La latencia de una AI API no es una sola cifra. En una respuesta transmitida hay que registrar las cabeceras del proveedor, el primer evento SSE no vacío, el primer contenido o acción efectiva, el primer texto visible y la finalización. Cada hito responde a una pregunta distinta y no debería llamarse simplemente «TTFT».
En un chat de texto, el primer texto visible suele representar la experiencia del usuario. En un flujo con razonamiento o herramientas puede aparecer antes un resultado efectivo, como los argumentos de una función. La velocidad de generación se mide después de comenzar la salida.
Construir una cronología antes de nombrar las métricas
Usa un reloj monotónico y un único origen:
t0 la pasarela recibe la solicitud
t1 comienza la solicitud al proveedor
t2 llegan las cabeceras del proveedor
t3 llega el primer evento SSE no vacío
t4 llega el primer contenido o acción efectiva
t5 llega el primer incremento de texto visible
t6 termina o se cierra el cuerpo de la respuesta del proveedor
t7 termina el controlador de la pasarela
No todas las solicitudes tienen todos los hitos. Guarda la ausencia como ausencia, no como cero.
| Campo | Medición | Límite importante |
|---|---|---|
auth_ms |
Autenticación | Fase local |
distribution_ms |
Selección de canal y política | Fase local |
body_read_ms |
Lectura del cuerpo de la solicitud | Puede detectar cargas lentas |
upstream_headers_ms |
Desde el inicio de la solicitud hasta las cabeceras del proveedor | El origen no es la recepción en la pasarela |
first_sse_event_ms |
Desde la recepción hasta el primer evento | Puede contener solo metadatos |
first_response_ms |
Desde la recepción hasta el primer contenido o acción efectiva | Texto, razonamiento o argumentos de función |
first_text_delta_ms |
Desde la recepción hasta el texto visible | No existe si no hay texto |
upstream_done_ms |
Desde la recepción hasta el cierre de la respuesta del proveedor | El cierre no implica éxito |
total_handler_ms |
Desde la recepción hasta el final de la retransmisión | Medida integral de la pasarela |
visible_output_tps |
Tokens / ventana visible | Diagnóstico por usuario, no TPS global |
No restes duraciones con orígenes diferentes.
TTFT tiene más de un significado práctico
La guía de evaluación comparativa de NVIDIA NIM define TTFT como el tiempo hasta el primer token efectivo e incluye normalmente la red, la cola y el preprocesamiento de la instrucción. Una transmisión moderna puede emitir antes metadatos, razonamiento, argumentos, entrada de herramientas o señales de actividad.
| Nombre | Definición recomendada | Uso |
|---|---|---|
| Tiempo hasta las cabeceras | Desde el inicio hasta las cabeceras del proveedor | Red y admisión |
| Tiempo hasta el primer evento | Desde el inicio hasta el primer SSE no vacío | Actividad del transporte |
| Tiempo hasta la primera respuesta efectiva | Desde el inicio hasta el contenido o la acción útil | Capacidad de respuesta del agente y del razonamiento |
| Tiempo hasta el primer texto visible | Desde el inicio hasta el texto representable | Experiencia de chat |
Si una gráfica dice TTFT, documenta cuál de estas definiciones usa.
Separar capacidad de respuesta y velocidad
end_to_end_latency = final_response_time - request_start_time
visible_generation_window = final_response_time - first_visible_text_time
visible_output_tps = output_tokens / visible_generation_window_seconds
La latencia entre tokens excluye TTFT y suele dividir el tiempo restante por output_tokens - 1. No cuentes eventos SSE como tokens: un evento puede contener cero o varios y los límites dependen del tokenizador.
Un primer texto rápido con TPS bajo comienza bien y luego se ralentiza; un primer texto lento con TPS alto parece bloqueado y después termina rápido. Los TPS por usuario y el rendimiento agregado tampoco son equivalentes.
El razonamiento y las herramientas pueden preceder al texto
En texto puro, first_response_ms y first_text_delta_ms pueden coincidir. Con Function Calling puede haber argumentos a los 1,8 s y texto a los 6,4 s. El sistema ya tenía una acción útil, pero el usuario aún no veía texto.
- un agente de terminal puede medir la primera acción efectiva;
- una interfaz que solo muestra texto debe medir el primer texto visible;
- una API de llamada a herramientas puede no producir texto;
- una envoltura SSE temprana solo demuestra progreso de la conexión.
La guía de transmisión de AI API explica el análisis, la cancelación y el tiempo de espera por inactividad. La métrica depende de distinguir las envolturas del contenido efectivo.
Diagnosticar fases en un orden fijo
| Síntoma | Métrica | Revisar |
|---|---|---|
| Lento antes de las cabeceras | upstream_headers_ms |
Red, admisión, cola, ruta, región |
| Cabeceras rápidas, salida útil lenta | first_response_ms menos las fases iniciales |
Cola del modelo, preprocesamiento, razonamiento, solicitudes en curso |
| Primer evento rápido, salida lenta | Diferencia entre SSE y respuesta | Metadatos, señal de actividad, inicio del razonamiento |
| Acción rápida, texto lento | Diferencia entre respuesta y texto | Herramienta, razonamiento o composición |
| Texto rápido, generación lenta | visible_output_tps |
Decodificación, contención, contexto y red |
| Proveedor normal | Campos locales | Autenticación, política o carga del cliente |
Una métrica no demuestra la causa; combina datos de ruta, región, proveedor y carga concurrente.
Leer tres trazas sintéticas
Traza A: espera de cabeceras
| Métrica | Valor |
|---|---|
upstream_headers_ms |
6.100 ms |
first_sse_event_ms |
6.300 ms |
first_response_ms |
6.350 ms |
first_text_delta_ms |
6.400 ms |
total_handler_ms |
9.200 ms |
visible_output_tps |
42 |
La mayor espera ocurre antes de las cabeceras. Revisa la ruta, la admisión, la red, la región y la carga antes de optimizar la interfaz.
Traza B: acción antes del texto
| Métrica | Valor |
|---|---|
upstream_headers_ms |
240 ms |
first_sse_event_ms |
310 ms |
first_response_ms |
2.900 ms |
first_text_delta_ms |
8.700 ms |
total_handler_ms |
10.200 ms |
visible_output_tps |
55 |
Hay una acción efectiva a los 2,9 s y texto 5,8 s después. Investiga el razonamiento o las herramientas; aumentar el tiempo de espera de las cabeceras no resuelve este patrón.
Traza C: inicio rápido, generación lenta
| Métrica | Valor |
|---|---|
upstream_headers_ms |
260 ms |
first_sse_event_ms |
330 ms |
first_response_ms |
420 ms |
first_text_delta_ms |
430 ms |
total_handler_ms |
20.430 ms |
visible_output_tps |
9,8 |
Comienza rápido pero genera durante unos 20 s. Compara la longitud, el contexto, el canal, las solicitudes en curso y el proveedor. Un tiempo de espera para la primera salida no lo detectará.
Comparar solo bajo condiciones controladas
Registra el modelo y la ruta exactos, las distribuciones de tokens, el modo de transmisión, el esfuerzo de razonamiento, las herramientas, la región, la ruta de red, la concurrencia, el muestreo, la salida máxima, el calentamiento, la política de reintentos, el tamaño de la muestra y el cálculo de percentiles.
Compara p50, p95 y p99, no una media aislada. Mantén visibles los tiempos de espera y los errores. Con instrucciones, longitudes o concurrencia distintas, no presentes el resultado como una clasificación de velocidad de los modelos.
Conservar metadatos, no contenido
Para diagnosticar bastan el ID de solicitud, la marca temporal, el modelo, el grupo, la referencia de canal, el estado, los recuentos de tokens, los tiempos, los recuentos de eventos, las solicitudes en curso, la región aproximada y clasificadores como upstream_headers_slow o generation_slow_tps.
No es necesario guardar instrucciones, respuestas, claves API ni identidades en claro. También hay que aplicar retención y control de acceso a los metadatos.
Empieza por la cronología completa, usa Enrutamiento fiable de AI API para comparar los intentos y Resolución de errores de AI API para vincular los tiempos con el estado final. Así se separan la admisión, el arranque del modelo, el razonamiento, las herramientas, la generación visible y la sobrecarga local.