Métricas de latencia de API de IA: TTFT, primera respuesta y velocidad

Guía basada en la secuencia temporal para separar cabeceras del proveedor, primer evento SSE, primera respuesta efectiva, texto visible, latencia total y velocidad de salida.

Métricas de latencia de API de IA: TTFT, primera respuesta y velocidad

La latencia de una AI API no es una sola cifra. En una respuesta transmitida hay que registrar las cabeceras del proveedor, el primer evento SSE no vacío, el primer contenido o acción efectiva, el primer texto visible y la finalización. Cada hito responde a una pregunta distinta y no debería llamarse simplemente «TTFT».

En un chat de texto, el primer texto visible suele representar la experiencia del usuario. En un flujo con razonamiento o herramientas puede aparecer antes un resultado efectivo, como los argumentos de una función. La velocidad de generación se mide después de comenzar la salida.

Construir una cronología antes de nombrar las métricas

Usa un reloj monotónico y un único origen:

t0  la pasarela recibe la solicitud
t1  comienza la solicitud al proveedor
t2  llegan las cabeceras del proveedor
t3  llega el primer evento SSE no vacío
t4  llega el primer contenido o acción efectiva
t5  llega el primer incremento de texto visible
t6  termina o se cierra el cuerpo de la respuesta del proveedor
t7  termina el controlador de la pasarela

No todas las solicitudes tienen todos los hitos. Guarda la ausencia como ausencia, no como cero.

Campo Medición Límite importante
auth_ms Autenticación Fase local
distribution_ms Selección de canal y política Fase local
body_read_ms Lectura del cuerpo de la solicitud Puede detectar cargas lentas
upstream_headers_ms Desde el inicio de la solicitud hasta las cabeceras del proveedor El origen no es la recepción en la pasarela
first_sse_event_ms Desde la recepción hasta el primer evento Puede contener solo metadatos
first_response_ms Desde la recepción hasta el primer contenido o acción efectiva Texto, razonamiento o argumentos de función
first_text_delta_ms Desde la recepción hasta el texto visible No existe si no hay texto
upstream_done_ms Desde la recepción hasta el cierre de la respuesta del proveedor El cierre no implica éxito
total_handler_ms Desde la recepción hasta el final de la retransmisión Medida integral de la pasarela
visible_output_tps Tokens / ventana visible Diagnóstico por usuario, no TPS global

No restes duraciones con orígenes diferentes.

TTFT tiene más de un significado práctico

La guía de evaluación comparativa de NVIDIA NIM define TTFT como el tiempo hasta el primer token efectivo e incluye normalmente la red, la cola y el preprocesamiento de la instrucción. Una transmisión moderna puede emitir antes metadatos, razonamiento, argumentos, entrada de herramientas o señales de actividad.

Nombre Definición recomendada Uso
Tiempo hasta las cabeceras Desde el inicio hasta las cabeceras del proveedor Red y admisión
Tiempo hasta el primer evento Desde el inicio hasta el primer SSE no vacío Actividad del transporte
Tiempo hasta la primera respuesta efectiva Desde el inicio hasta el contenido o la acción útil Capacidad de respuesta del agente y del razonamiento
Tiempo hasta el primer texto visible Desde el inicio hasta el texto representable Experiencia de chat

Si una gráfica dice TTFT, documenta cuál de estas definiciones usa.

Separar capacidad de respuesta y velocidad

end_to_end_latency = final_response_time - request_start_time
visible_generation_window = final_response_time - first_visible_text_time
visible_output_tps = output_tokens / visible_generation_window_seconds

La latencia entre tokens excluye TTFT y suele dividir el tiempo restante por output_tokens - 1. No cuentes eventos SSE como tokens: un evento puede contener cero o varios y los límites dependen del tokenizador.

Un primer texto rápido con TPS bajo comienza bien y luego se ralentiza; un primer texto lento con TPS alto parece bloqueado y después termina rápido. Los TPS por usuario y el rendimiento agregado tampoco son equivalentes.

El razonamiento y las herramientas pueden preceder al texto

En texto puro, first_response_ms y first_text_delta_ms pueden coincidir. Con Function Calling puede haber argumentos a los 1,8 s y texto a los 6,4 s. El sistema ya tenía una acción útil, pero el usuario aún no veía texto.

  • un agente de terminal puede medir la primera acción efectiva;
  • una interfaz que solo muestra texto debe medir el primer texto visible;
  • una API de llamada a herramientas puede no producir texto;
  • una envoltura SSE temprana solo demuestra progreso de la conexión.

La guía de transmisión de AI API explica el análisis, la cancelación y el tiempo de espera por inactividad. La métrica depende de distinguir las envolturas del contenido efectivo.

Diagnosticar fases en un orden fijo

Síntoma Métrica Revisar
Lento antes de las cabeceras upstream_headers_ms Red, admisión, cola, ruta, región
Cabeceras rápidas, salida útil lenta first_response_ms menos las fases iniciales Cola del modelo, preprocesamiento, razonamiento, solicitudes en curso
Primer evento rápido, salida lenta Diferencia entre SSE y respuesta Metadatos, señal de actividad, inicio del razonamiento
Acción rápida, texto lento Diferencia entre respuesta y texto Herramienta, razonamiento o composición
Texto rápido, generación lenta visible_output_tps Decodificación, contención, contexto y red
Proveedor normal Campos locales Autenticación, política o carga del cliente

Una métrica no demuestra la causa; combina datos de ruta, región, proveedor y carga concurrente.

Leer tres trazas sintéticas

Traza A: espera de cabeceras

Métrica Valor
upstream_headers_ms 6.100 ms
first_sse_event_ms 6.300 ms
first_response_ms 6.350 ms
first_text_delta_ms 6.400 ms
total_handler_ms 9.200 ms
visible_output_tps 42

La mayor espera ocurre antes de las cabeceras. Revisa la ruta, la admisión, la red, la región y la carga antes de optimizar la interfaz.

Traza B: acción antes del texto

Métrica Valor
upstream_headers_ms 240 ms
first_sse_event_ms 310 ms
first_response_ms 2.900 ms
first_text_delta_ms 8.700 ms
total_handler_ms 10.200 ms
visible_output_tps 55

Hay una acción efectiva a los 2,9 s y texto 5,8 s después. Investiga el razonamiento o las herramientas; aumentar el tiempo de espera de las cabeceras no resuelve este patrón.

Traza C: inicio rápido, generación lenta

Métrica Valor
upstream_headers_ms 260 ms
first_sse_event_ms 330 ms
first_response_ms 420 ms
first_text_delta_ms 430 ms
total_handler_ms 20.430 ms
visible_output_tps 9,8

Comienza rápido pero genera durante unos 20 s. Compara la longitud, el contexto, el canal, las solicitudes en curso y el proveedor. Un tiempo de espera para la primera salida no lo detectará.

Comparar solo bajo condiciones controladas

Registra el modelo y la ruta exactos, las distribuciones de tokens, el modo de transmisión, el esfuerzo de razonamiento, las herramientas, la región, la ruta de red, la concurrencia, el muestreo, la salida máxima, el calentamiento, la política de reintentos, el tamaño de la muestra y el cálculo de percentiles.

Compara p50, p95 y p99, no una media aislada. Mantén visibles los tiempos de espera y los errores. Con instrucciones, longitudes o concurrencia distintas, no presentes el resultado como una clasificación de velocidad de los modelos.

Conservar metadatos, no contenido

Para diagnosticar bastan el ID de solicitud, la marca temporal, el modelo, el grupo, la referencia de canal, el estado, los recuentos de tokens, los tiempos, los recuentos de eventos, las solicitudes en curso, la región aproximada y clasificadores como upstream_headers_slow o generation_slow_tps.

No es necesario guardar instrucciones, respuestas, claves API ni identidades en claro. También hay que aplicar retención y control de acceso a los metadatos.

Empieza por la cronología completa, usa Enrutamiento fiable de AI API para comparar los intentos y Resolución de errores de AI API para vincular los tiempos con el estado final. Así se separan la admisión, el arranque del modelo, el razonamiento, las herramientas, la generación visible y la sobrecarga local.