Métricas de latência de API de IA: TTFT, primeira resposta e velocidade

Guia pela linha temporal do pedido para separar cabeçalhos do fornecedor, primeiro evento SSE, primeira resposta efetiva, texto visível, latência total e velocidade de saída.

Métricas de latência de API de IA: TTFT, primeira resposta e velocidade

A latência de uma API de IA não é um único número. Numa resposta em streaming, registe a chegada dos cabeçalhos do fornecedor, o primeiro evento SSE não vazio, o primeiro conteúdo ou ação efetiva, o primeiro texto visível e a conclusão. Estes marcos respondem a perguntas diferentes e não devem ser todos designados por “TTFT”.

Num chat de texto, o tempo até ao primeiro texto visível costuma representar a experiência do utilizador. Num fluxo com raciocínio ou ferramentas, os argumentos de uma função podem constituir o primeiro resultado efetivo. A velocidade de geração é uma medida separada, calculada depois de a saída começar.

Construa uma cronologia antes de nomear as métricas

Use um relógio monotónico e uma única origem:

t0  o gateway recebe o pedido
t1  começa o pedido ao fornecedor
t2  chegam os cabeçalhos do fornecedor
t3  primeiro evento SSE não vazio
t4  primeiro conteúdo ou ação efetiva
t5  primeiro incremento de texto visível
t6  o corpo da resposta do fornecedor termina ou fecha
t7  termina o processamento no gateway

Nem todos os pedidos possuem todos os marcos. Um valor ausente deve permanecer ausente, não ser convertido em zero.

Campo Medição Limite importante
auth_ms Autenticação Fase local
distribution_ms Seleção de canal e encaminhamento Fase local
body_read_ms Leitura do corpo do pedido Deteta um carregamento lento
upstream_headers_ms Do início do pedido até aos cabeçalhos do fornecedor A origem não é a receção no gateway
first_sse_event_ms Da receção até ao primeiro evento Pode conter apenas metadados
first_response_ms Da receção até ao primeiro conteúdo ou ação efetiva Texto, raciocínio ou argumentos da função
first_text_delta_ms Da receção até ao texto visível Pode não existir
upstream_done_ms Da receção até ao fecho da resposta do fornecedor O fecho nem sempre significa sucesso
total_handler_ms Da receção até ao fim da retransmissão Duração integral no gateway
visible_output_tps Tokens / janela visível Diagnóstico por utilizador, não TPS global

Não subtraia durações com origens diferentes.

TTFT tem mais de um significado

O guia de avaliação comparativa do NVIDIA NIM inclui geralmente a rede, a fila e o pré-processamento das instruções no TTFT e exclui respostas iniciais vazias. Os fluxos modernos podem emitir antes do texto: metadados, raciocínio, argumentos da função, entrada de ferramentas ou sinais de atividade.

Nome Definição recomendada Uso
Tempo até aos cabeçalhos Do início até aos cabeçalhos do fornecedor Rede e admissão
Tempo até ao primeiro evento Do início até ao primeiro SSE não vazio Atividade do transporte
Tempo até à primeira resposta efetiva Do início até ao conteúdo ou ação útil Capacidade de resposta do agente e do raciocínio
Tempo até ao primeiro texto visível Do início até ao texto apresentável Experiência de chat

Um painel com “TTFT” deve indicar a definição utilizada.

Separe responsividade e velocidade de geração

end_to_end_latency = final_response_time - request_start_time
visible_generation_window = final_response_time - first_visible_text_time
visible_output_tps = output_tokens / visible_generation_window_seconds

A latência entre tokens exclui o TTFT e normalmente divide o tempo restante por output_tokens - 1. Não conte eventos SSE como tokens; um evento pode conter zero ou vários.

Um texto inicial rápido com TPS baixo começa bem e depois abranda; um texto tardio com TPS alto parece bloqueado e termina rapidamente. Os TPS por utilizador e o débito agregado também são medidas diferentes.

O raciocínio e as ferramentas podem surgir antes do texto

Em texto puro, first_response_ms e first_text_delta_ms ficam próximos. Argumentos de função aos 1,8 s e texto aos 6,4 s significam que existe uma ação útil antes de surgir texto visível.

  • um agente de terminal pode medir a primeira ação efetiva;
  • uma interface apenas de texto deve medir o primeiro texto visível;
  • uma API de ferramentas pode não produzir texto;
  • um invólucro SSE antecipado prova que a ligação está ativa, não que existe progresso útil.

O guia de streaming de APIs de IA cobre a análise, o cancelamento e o tempo limite de inatividade. As métricas devem respeitar os limites definidos pelo analisador.

Diagnostique fases em ordem fixa

Sintoma Métrica Verificar
Lento antes dos cabeçalhos upstream_headers_ms Rede, admissão, fila, rota, região
Cabeçalhos rápidos, saída tardia first_response_ms Fila do modelo, pré-processamento, raciocínio, pedidos em curso
Evento rápido, saída tardia Diferença entre SSE e resposta Metadados, sinal de atividade, início do raciocínio
Ação rápida, texto tardio Diferença entre resposta e texto Ferramenta, raciocínio ou composição
Texto rápido, geração lenta visible_output_tps Descodificação, contenção, contexto longo
Fornecedor normal Campos locais Autenticação, política, carregamento do cliente

Uma métrica não prova a causa. Combine rota, região, provedor e carga concorrente.

Leia três rastos sintéticos

Rasto A: espera pelos cabeçalhos

Métrica Valor
upstream_headers_ms 6.100 ms
first_sse_event_ms 6.300 ms
first_response_ms 6.350 ms
first_text_delta_ms 6.400 ms
total_handler_ms 9.200 ms
visible_output_tps 42

A espera ocorre antes dos cabeçalhos. Verifique a rota, a admissão, a rede, a região e a carga antes da interface.

Rasto B: ação antes do texto

Métrica Valor
upstream_headers_ms 240 ms
first_sse_event_ms 310 ms
first_response_ms 2.900 ms
first_text_delta_ms 8.700 ms
total_handler_ms 10.200 ms
visible_output_tps 55

Uma ação efetiva surge aos 2,9 s e o texto 5,8 s depois. Investigue o raciocínio ou as ferramentas; aumentar o tempo limite dos cabeçalhos não ajuda.

Rasto C: início rápido, geração lenta

Métrica Valor
upstream_headers_ms 260 ms
first_sse_event_ms 330 ms
first_response_ms 420 ms
first_text_delta_ms 430 ms
total_handler_ms 20.430 ms
visible_output_tps 9,8

O texto começa rapidamente, mas a geração demora quase 20 s. Compare o comprimento, o contexto, o canal, os pedidos em curso e o fornecedor. Um tempo limite para a primeira saída não deteta este padrão.

Compare apenas em condições controladas

Registe o modelo e a rota, as distribuições de tokens, o modo de streaming, o esforço de raciocínio, as ferramentas, a região, o caminho de rede, a concorrência, a amostragem, a saída máxima, o aquecimento, a política de repetição, o tamanho da amostra e o método de percentil.

Compare p50, p95 e p99, não uma média isolada. Mantenha visíveis os tempos limite e os erros. Instruções, comprimentos ou níveis de concorrência diferentes não formam uma classificação da velocidade dos modelos.

Conserve metadados, não conteúdo

O ID do pedido, o carimbo temporal, o modelo, o grupo, a referência do canal, o estado, as contagens de tokens, os campos de tempo, as contagens de eventos, os pedidos em curso, a região aproximada e classificadores como upstream_headers_slow costumam bastar.

Não é necessário guardar instruções, respostas, chaves de API ou identidades em texto simples. Aplique políticas de retenção e controlo de acesso aos metadados.

Comece pela cronologia, use o encaminhamento fiável de APIs de IA para comparar as tentativas e a resolução de erros de APIs de IA para relacionar os tempos com o estado final. Assim é possível separar a admissão, o arranque do modelo, o raciocínio ou as ferramentas, a geração visível e a sobrecarga local.