Métriques de latence des API d’IA : TTFT, première réponse et vitesse

Guide fondé sur la chronologie de la requête pour distinguer les en-têtes du fournisseur, le premier événement SSE, la première réponse utile, le texte visible et la vitesse de sortie.

Métriques de latence des API d’IA : TTFT, première réponse et vitesse

La latence d’une API d’IA n’est pas un chiffre unique. Pour une requête diffusée en continu, il faut distinguer l’arrivée des en-têtes du fournisseur, le premier événement SSE non vide, le premier contenu ou la première action utile, le premier texte visible et la fin de la réponse. Ces étapes répondent à des questions différentes et ne doivent pas toutes s’appeler « TTFT ».

Dans un chat textuel, le délai jusqu’au premier texte visible représente généralement l’expérience utilisateur. Dans un processus de raisonnement ou d’utilisation d’outils, des arguments de fonction peuvent constituer une sortie effective plus tôt. La vitesse de génération se mesure après le début de la sortie.

Construire une chronologie avant de nommer la métrique

Utilisez une horloge monotone et un seul point d’origine :

t0  la passerelle reçoit la requête
t1  elle démarre la requête vers le fournisseur
t2  les en-têtes du fournisseur arrivent
t3  premier événement SSE non vide
t4  premier contenu ou première action utile
t5  premier incrément de texte visible
t6  le corps de la réponse du fournisseur se termine ou se ferme
t7  le traitement de la passerelle se termine

Tous les jalons n’existent pas pour chaque requête. Une valeur absente doit rester absente, pas devenir zéro.

Champ Mesure Limite importante
auth_ms Authentification Phase locale
distribution_ms Sélection de route Phase locale
body_read_ms Lecture du corps de la requête Révèle un téléversement lent
upstream_headers_ms Du début de la requête aux en-têtes du fournisseur Origine différente de la réception par la passerelle
first_sse_event_ms De la réception au premier événement Peut ne contenir que des métadonnées
first_response_ms De la réception au premier contenu ou à la première action utile Texte, raisonnement ou arguments de fonction
first_text_delta_ms De la réception au texte visible Peut être absent
upstream_done_ms De la réception à la fermeture de la réponse du fournisseur Une fermeture n’est pas toujours un succès
total_handler_ms De la réception à la fin du relais Approximation de la durée totale de la passerelle
visible_output_tps Tokens / fenêtre visible Diagnostic utilisateur, pas TPS système

Ne soustrayez pas des durées qui n’ont pas la même origine.

TTFT possède plusieurs sens pratiques

Le guide d’évaluation comparative NVIDIA NIM inclut généralement le réseau, la file d’attente et le prétraitement de l’invite dans le TTFT, et exclut les réponses initiales vides. Un flux moderne peut émettre avant le texte : métadonnées, raisonnement, arguments de fonction, entrée d’outil ou signal d’activité.

Nom Définition recommandée Usage
Délai jusqu’aux en-têtes Du début aux en-têtes du fournisseur Réseau et admission
Délai jusqu’au premier événement Du début au premier SSE non vide Activité du transport
Délai jusqu’à la première réponse effective Du début au contenu ou à l’action utile Réactivité de l’agent et du raisonnement
Délai jusqu’au premier texte visible Du début au texte affichable Expérience du chat

Un graphique « TTFT » doit documenter la définition choisie.

Séparer réactivité et vitesse de génération

end_to_end_latency = final_response_time - request_start_time
visible_generation_window = final_response_time - first_visible_text_time
visible_output_tps = output_tokens / visible_generation_window_seconds

La latence entre les jetons exclut le TTFT et divise généralement le temps restant par output_tokens - 1. Ne comptez pas les événements SSE comme des jetons : un événement peut en contenir zéro ou plusieurs.

Un texte rapide avec peu de TPS démarre bien puis ralentit ; un texte tardif avec beaucoup de TPS semble bloqué puis finit vite. Les TPS par utilisateur et le débit agrégé sont également différents.

Le raisonnement et les outils peuvent précéder le texte

En texte pur, first_response_ms et first_text_delta_ms sont proches. Des arguments de fonction à 1,8 s et du texte à 6,4 s indiquent une action utile précoce, mais aucun texte visible avant 6,4 s.

  • un agent de terminal peut mesurer la première action effective ;
  • une interface textuelle doit mesurer le premier texte visible ;
  • une API d’outils peut ne jamais produire de texte ;
  • une enveloppe SSE précoce prouve que la connexion progresse, pas qu’une sortie utile est disponible.

Le guide de la diffusion en continu des API d’IA couvre l’analyse, l’annulation et le délai d’inactivité. Les métriques doivent respecter les limites de l’analyseur.

Diagnostiquer les étapes dans un ordre fixe

Symptôme Métrique Vérifier
Lent avant les en-têtes upstream_headers_ms Réseau, admission, file d’attente, route, région
En-têtes rapides, sortie tardive first_response_ms File du modèle, prétraitement, raisonnement, requêtes en cours
Événement rapide, sortie tardive Écart entre SSE et réponse Métadonnées, signal d’activité, démarrage du raisonnement
Action rapide, texte tardif Écart entre réponse et texte Outil, raisonnement ou composition
Texte rapide, génération lente visible_output_tps Décodage, contention, contexte long
Fournisseur normal Champs locaux Authentification, politique, téléversement du client

Aucune métrique ne prouve seule la cause. Route, région, fournisseur et charge doivent être combinés.

Lire trois traces synthétiques

Trace A : attente des en-têtes

Métrique Valeur
upstream_headers_ms 6 100 ms
first_sse_event_ms 6 300 ms
first_response_ms 6 350 ms
first_text_delta_ms 6 400 ms
total_handler_ms 9 200 ms
visible_output_tps 42

La majorité de l’attente précède les en-têtes. Examinez la route, l’admission, le réseau, la région et la charge avant l’interface.

Trace B : action avant le texte visible

Métrique Valeur
upstream_headers_ms 240 ms
first_sse_event_ms 310 ms
first_response_ms 2 900 ms
first_text_delta_ms 8 700 ms
total_handler_ms 10 200 ms
visible_output_tps 55

Une action existe à 2,9 s, mais le texte attend encore 5,8 s. Inspectez le raisonnement ou les outils ; allonger le délai d’attente des en-têtes ne corrige rien.

Trace C : début rapide, génération lente

Métrique Valeur
upstream_headers_ms 260 ms
first_sse_event_ms 330 ms
first_response_ms 420 ms
first_text_delta_ms 430 ms
total_handler_ms 20 430 ms
visible_output_tps 9,8

Le texte arrive vite, mais la génération dure près de 20 s. Comparez la longueur, le contexte, le canal, les requêtes en cours et le fournisseur. Un délai d’attente pour la première sortie ne détecte pas ce cas.

Comparer uniquement dans des conditions contrôlées

Enregistrez le modèle et la route, les distributions de jetons, le mode de diffusion, l’effort de raisonnement, les outils, la région, le chemin réseau, la concurrence, l’échantillonnage, la sortie maximale, le préchauffage, la politique de nouvelle tentative, la taille de l’échantillon et la méthode de calcul des centiles.

Comparez p50, p95 et p99, pas une moyenne isolée. Gardez les délais d’attente et les erreurs visibles. Des invites, longueurs ou concurrences différentes ne forment pas un classement de vitesse des modèles.

Conserver les métadonnées, pas le contenu

L’identifiant de requête, l’horodatage, le modèle, le groupe, la référence de canal, l’état, le nombre de jetons, les champs de temps, le nombre d’événements, les requêtes en cours, la région approximative et un classificateur comme upstream_headers_slow suffisent souvent.

Les invites, les réponses, les clés API et les identités en clair ne sont pas nécessaires. Appliquez une politique de conservation et un contrôle d’accès aux métadonnées.

Commencez par la chronologie, utilisez le routage fiable des API d’IA pour comparer les tentatives et le diagnostic des erreurs d’API d’IA pour les relier à l’état final. On sépare ainsi l’admission, le démarrage du modèle, le raisonnement ou les outils, la génération visible et la surcharge locale.