Métricas de latência de API de IA: TTFT, primeira resposta e velocidade
Guia pela linha temporal do pedido para separar cabeçalhos do fornecedor, primeiro evento SSE, primeira resposta efetiva, texto visível, latência total e velocidade de saída.

A latência de uma API de IA não é um único número. Numa resposta em streaming, registe a chegada dos cabeçalhos do fornecedor, o primeiro evento SSE não vazio, o primeiro conteúdo ou ação efetiva, o primeiro texto visível e a conclusão. Estes marcos respondem a perguntas diferentes e não devem ser todos designados por “TTFT”.
Num chat de texto, o tempo até ao primeiro texto visível costuma representar a experiência do utilizador. Num fluxo com raciocínio ou ferramentas, os argumentos de uma função podem constituir o primeiro resultado efetivo. A velocidade de geração é uma medida separada, calculada depois de a saída começar.
Construa uma cronologia antes de nomear as métricas
Use um relógio monotónico e uma única origem:
t0 o gateway recebe o pedido
t1 começa o pedido ao fornecedor
t2 chegam os cabeçalhos do fornecedor
t3 primeiro evento SSE não vazio
t4 primeiro conteúdo ou ação efetiva
t5 primeiro incremento de texto visível
t6 o corpo da resposta do fornecedor termina ou fecha
t7 termina o processamento no gateway
Nem todos os pedidos possuem todos os marcos. Um valor ausente deve permanecer ausente, não ser convertido em zero.
| Campo | Medição | Limite importante |
|---|---|---|
auth_ms |
Autenticação | Fase local |
distribution_ms |
Seleção de canal e encaminhamento | Fase local |
body_read_ms |
Leitura do corpo do pedido | Deteta um carregamento lento |
upstream_headers_ms |
Do início do pedido até aos cabeçalhos do fornecedor | A origem não é a receção no gateway |
first_sse_event_ms |
Da receção até ao primeiro evento | Pode conter apenas metadados |
first_response_ms |
Da receção até ao primeiro conteúdo ou ação efetiva | Texto, raciocínio ou argumentos da função |
first_text_delta_ms |
Da receção até ao texto visível | Pode não existir |
upstream_done_ms |
Da receção até ao fecho da resposta do fornecedor | O fecho nem sempre significa sucesso |
total_handler_ms |
Da receção até ao fim da retransmissão | Duração integral no gateway |
visible_output_tps |
Tokens / janela visível | Diagnóstico por utilizador, não TPS global |
Não subtraia durações com origens diferentes.
TTFT tem mais de um significado
O guia de avaliação comparativa do NVIDIA NIM inclui geralmente a rede, a fila e o pré-processamento das instruções no TTFT e exclui respostas iniciais vazias. Os fluxos modernos podem emitir antes do texto: metadados, raciocínio, argumentos da função, entrada de ferramentas ou sinais de atividade.
| Nome | Definição recomendada | Uso |
|---|---|---|
| Tempo até aos cabeçalhos | Do início até aos cabeçalhos do fornecedor | Rede e admissão |
| Tempo até ao primeiro evento | Do início até ao primeiro SSE não vazio | Atividade do transporte |
| Tempo até à primeira resposta efetiva | Do início até ao conteúdo ou ação útil | Capacidade de resposta do agente e do raciocínio |
| Tempo até ao primeiro texto visível | Do início até ao texto apresentável | Experiência de chat |
Um painel com “TTFT” deve indicar a definição utilizada.
Separe responsividade e velocidade de geração
end_to_end_latency = final_response_time - request_start_time
visible_generation_window = final_response_time - first_visible_text_time
visible_output_tps = output_tokens / visible_generation_window_seconds
A latência entre tokens exclui o TTFT e normalmente divide o tempo restante por output_tokens - 1. Não conte eventos SSE como tokens; um evento pode conter zero ou vários.
Um texto inicial rápido com TPS baixo começa bem e depois abranda; um texto tardio com TPS alto parece bloqueado e termina rapidamente. Os TPS por utilizador e o débito agregado também são medidas diferentes.
O raciocínio e as ferramentas podem surgir antes do texto
Em texto puro, first_response_ms e first_text_delta_ms ficam próximos. Argumentos de função aos 1,8 s e texto aos 6,4 s significam que existe uma ação útil antes de surgir texto visível.
- um agente de terminal pode medir a primeira ação efetiva;
- uma interface apenas de texto deve medir o primeiro texto visível;
- uma API de ferramentas pode não produzir texto;
- um invólucro SSE antecipado prova que a ligação está ativa, não que existe progresso útil.
O guia de streaming de APIs de IA cobre a análise, o cancelamento e o tempo limite de inatividade. As métricas devem respeitar os limites definidos pelo analisador.
Diagnostique fases em ordem fixa
| Sintoma | Métrica | Verificar |
|---|---|---|
| Lento antes dos cabeçalhos | upstream_headers_ms |
Rede, admissão, fila, rota, região |
| Cabeçalhos rápidos, saída tardia | first_response_ms |
Fila do modelo, pré-processamento, raciocínio, pedidos em curso |
| Evento rápido, saída tardia | Diferença entre SSE e resposta | Metadados, sinal de atividade, início do raciocínio |
| Ação rápida, texto tardio | Diferença entre resposta e texto | Ferramenta, raciocínio ou composição |
| Texto rápido, geração lenta | visible_output_tps |
Descodificação, contenção, contexto longo |
| Fornecedor normal | Campos locais | Autenticação, política, carregamento do cliente |
Uma métrica não prova a causa. Combine rota, região, provedor e carga concorrente.
Leia três rastos sintéticos
Rasto A: espera pelos cabeçalhos
| Métrica | Valor |
|---|---|
upstream_headers_ms |
6.100 ms |
first_sse_event_ms |
6.300 ms |
first_response_ms |
6.350 ms |
first_text_delta_ms |
6.400 ms |
total_handler_ms |
9.200 ms |
visible_output_tps |
42 |
A espera ocorre antes dos cabeçalhos. Verifique a rota, a admissão, a rede, a região e a carga antes da interface.
Rasto B: ação antes do texto
| Métrica | Valor |
|---|---|
upstream_headers_ms |
240 ms |
first_sse_event_ms |
310 ms |
first_response_ms |
2.900 ms |
first_text_delta_ms |
8.700 ms |
total_handler_ms |
10.200 ms |
visible_output_tps |
55 |
Uma ação efetiva surge aos 2,9 s e o texto 5,8 s depois. Investigue o raciocínio ou as ferramentas; aumentar o tempo limite dos cabeçalhos não ajuda.
Rasto C: início rápido, geração lenta
| Métrica | Valor |
|---|---|
upstream_headers_ms |
260 ms |
first_sse_event_ms |
330 ms |
first_response_ms |
420 ms |
first_text_delta_ms |
430 ms |
total_handler_ms |
20.430 ms |
visible_output_tps |
9,8 |
O texto começa rapidamente, mas a geração demora quase 20 s. Compare o comprimento, o contexto, o canal, os pedidos em curso e o fornecedor. Um tempo limite para a primeira saída não deteta este padrão.
Compare apenas em condições controladas
Registe o modelo e a rota, as distribuições de tokens, o modo de streaming, o esforço de raciocínio, as ferramentas, a região, o caminho de rede, a concorrência, a amostragem, a saída máxima, o aquecimento, a política de repetição, o tamanho da amostra e o método de percentil.
Compare p50, p95 e p99, não uma média isolada. Mantenha visíveis os tempos limite e os erros. Instruções, comprimentos ou níveis de concorrência diferentes não formam uma classificação da velocidade dos modelos.
Conserve metadados, não conteúdo
O ID do pedido, o carimbo temporal, o modelo, o grupo, a referência do canal, o estado, as contagens de tokens, os campos de tempo, as contagens de eventos, os pedidos em curso, a região aproximada e classificadores como upstream_headers_slow costumam bastar.
Não é necessário guardar instruções, respostas, chaves de API ou identidades em texto simples. Aplique políticas de retenção e controlo de acesso aos metadados.
Comece pela cronologia, use o encaminhamento fiável de APIs de IA para comparar as tentativas e a resolução de erros de APIs de IA para relacionar os tempos com o estado final. Assim é possível separar a admissão, o arranque do modelo, o raciocínio ou as ferramentas, a geração visível e a sobrecarga local.