Métriques de latence des API d’IA : TTFT, première réponse et vitesse
Guide fondé sur la chronologie de la requête pour distinguer les en-têtes du fournisseur, le premier événement SSE, la première réponse utile, le texte visible et la vitesse de sortie.

La latence d’une API d’IA n’est pas un chiffre unique. Pour une requête diffusée en continu, il faut distinguer l’arrivée des en-têtes du fournisseur, le premier événement SSE non vide, le premier contenu ou la première action utile, le premier texte visible et la fin de la réponse. Ces étapes répondent à des questions différentes et ne doivent pas toutes s’appeler « TTFT ».
Dans un chat textuel, le délai jusqu’au premier texte visible représente généralement l’expérience utilisateur. Dans un processus de raisonnement ou d’utilisation d’outils, des arguments de fonction peuvent constituer une sortie effective plus tôt. La vitesse de génération se mesure après le début de la sortie.
Construire une chronologie avant de nommer la métrique
Utilisez une horloge monotone et un seul point d’origine :
t0 la passerelle reçoit la requête
t1 elle démarre la requête vers le fournisseur
t2 les en-têtes du fournisseur arrivent
t3 premier événement SSE non vide
t4 premier contenu ou première action utile
t5 premier incrément de texte visible
t6 le corps de la réponse du fournisseur se termine ou se ferme
t7 le traitement de la passerelle se termine
Tous les jalons n’existent pas pour chaque requête. Une valeur absente doit rester absente, pas devenir zéro.
| Champ | Mesure | Limite importante |
|---|---|---|
auth_ms |
Authentification | Phase locale |
distribution_ms |
Sélection de route | Phase locale |
body_read_ms |
Lecture du corps de la requête | Révèle un téléversement lent |
upstream_headers_ms |
Du début de la requête aux en-têtes du fournisseur | Origine différente de la réception par la passerelle |
first_sse_event_ms |
De la réception au premier événement | Peut ne contenir que des métadonnées |
first_response_ms |
De la réception au premier contenu ou à la première action utile | Texte, raisonnement ou arguments de fonction |
first_text_delta_ms |
De la réception au texte visible | Peut être absent |
upstream_done_ms |
De la réception à la fermeture de la réponse du fournisseur | Une fermeture n’est pas toujours un succès |
total_handler_ms |
De la réception à la fin du relais | Approximation de la durée totale de la passerelle |
visible_output_tps |
Tokens / fenêtre visible | Diagnostic utilisateur, pas TPS système |
Ne soustrayez pas des durées qui n’ont pas la même origine.
TTFT possède plusieurs sens pratiques
Le guide d’évaluation comparative NVIDIA NIM inclut généralement le réseau, la file d’attente et le prétraitement de l’invite dans le TTFT, et exclut les réponses initiales vides. Un flux moderne peut émettre avant le texte : métadonnées, raisonnement, arguments de fonction, entrée d’outil ou signal d’activité.
| Nom | Définition recommandée | Usage |
|---|---|---|
| Délai jusqu’aux en-têtes | Du début aux en-têtes du fournisseur | Réseau et admission |
| Délai jusqu’au premier événement | Du début au premier SSE non vide | Activité du transport |
| Délai jusqu’à la première réponse effective | Du début au contenu ou à l’action utile | Réactivité de l’agent et du raisonnement |
| Délai jusqu’au premier texte visible | Du début au texte affichable | Expérience du chat |
Un graphique « TTFT » doit documenter la définition choisie.
Séparer réactivité et vitesse de génération
end_to_end_latency = final_response_time - request_start_time
visible_generation_window = final_response_time - first_visible_text_time
visible_output_tps = output_tokens / visible_generation_window_seconds
La latence entre les jetons exclut le TTFT et divise généralement le temps restant par output_tokens - 1. Ne comptez pas les événements SSE comme des jetons : un événement peut en contenir zéro ou plusieurs.
Un texte rapide avec peu de TPS démarre bien puis ralentit ; un texte tardif avec beaucoup de TPS semble bloqué puis finit vite. Les TPS par utilisateur et le débit agrégé sont également différents.
Le raisonnement et les outils peuvent précéder le texte
En texte pur, first_response_ms et first_text_delta_ms sont proches. Des arguments de fonction à 1,8 s et du texte à 6,4 s indiquent une action utile précoce, mais aucun texte visible avant 6,4 s.
- un agent de terminal peut mesurer la première action effective ;
- une interface textuelle doit mesurer le premier texte visible ;
- une API d’outils peut ne jamais produire de texte ;
- une enveloppe SSE précoce prouve que la connexion progresse, pas qu’une sortie utile est disponible.
Le guide de la diffusion en continu des API d’IA couvre l’analyse, l’annulation et le délai d’inactivité. Les métriques doivent respecter les limites de l’analyseur.
Diagnostiquer les étapes dans un ordre fixe
| Symptôme | Métrique | Vérifier |
|---|---|---|
| Lent avant les en-têtes | upstream_headers_ms |
Réseau, admission, file d’attente, route, région |
| En-têtes rapides, sortie tardive | first_response_ms |
File du modèle, prétraitement, raisonnement, requêtes en cours |
| Événement rapide, sortie tardive | Écart entre SSE et réponse | Métadonnées, signal d’activité, démarrage du raisonnement |
| Action rapide, texte tardif | Écart entre réponse et texte | Outil, raisonnement ou composition |
| Texte rapide, génération lente | visible_output_tps |
Décodage, contention, contexte long |
| Fournisseur normal | Champs locaux | Authentification, politique, téléversement du client |
Aucune métrique ne prouve seule la cause. Route, région, fournisseur et charge doivent être combinés.
Lire trois traces synthétiques
Trace A : attente des en-têtes
| Métrique | Valeur |
|---|---|
upstream_headers_ms |
6 100 ms |
first_sse_event_ms |
6 300 ms |
first_response_ms |
6 350 ms |
first_text_delta_ms |
6 400 ms |
total_handler_ms |
9 200 ms |
visible_output_tps |
42 |
La majorité de l’attente précède les en-têtes. Examinez la route, l’admission, le réseau, la région et la charge avant l’interface.
Trace B : action avant le texte visible
| Métrique | Valeur |
|---|---|
upstream_headers_ms |
240 ms |
first_sse_event_ms |
310 ms |
first_response_ms |
2 900 ms |
first_text_delta_ms |
8 700 ms |
total_handler_ms |
10 200 ms |
visible_output_tps |
55 |
Une action existe à 2,9 s, mais le texte attend encore 5,8 s. Inspectez le raisonnement ou les outils ; allonger le délai d’attente des en-têtes ne corrige rien.
Trace C : début rapide, génération lente
| Métrique | Valeur |
|---|---|
upstream_headers_ms |
260 ms |
first_sse_event_ms |
330 ms |
first_response_ms |
420 ms |
first_text_delta_ms |
430 ms |
total_handler_ms |
20 430 ms |
visible_output_tps |
9,8 |
Le texte arrive vite, mais la génération dure près de 20 s. Comparez la longueur, le contexte, le canal, les requêtes en cours et le fournisseur. Un délai d’attente pour la première sortie ne détecte pas ce cas.
Comparer uniquement dans des conditions contrôlées
Enregistrez le modèle et la route, les distributions de jetons, le mode de diffusion, l’effort de raisonnement, les outils, la région, le chemin réseau, la concurrence, l’échantillonnage, la sortie maximale, le préchauffage, la politique de nouvelle tentative, la taille de l’échantillon et la méthode de calcul des centiles.
Comparez p50, p95 et p99, pas une moyenne isolée. Gardez les délais d’attente et les erreurs visibles. Des invites, longueurs ou concurrences différentes ne forment pas un classement de vitesse des modèles.
Conserver les métadonnées, pas le contenu
L’identifiant de requête, l’horodatage, le modèle, le groupe, la référence de canal, l’état, le nombre de jetons, les champs de temps, le nombre d’événements, les requêtes en cours, la région approximative et un classificateur comme upstream_headers_slow suffisent souvent.
Les invites, les réponses, les clés API et les identités en clair ne sont pas nécessaires. Appliquez une politique de conservation et un contrôle d’accès aux métadonnées.
Commencez par la chronologie, utilisez le routage fiable des API d’IA pour comparer les tentatives et le diagnostic des erreurs d’API d’IA pour les relier à l’état final. On sépare ainsi l’admission, le démarrage du modèle, le raisonnement ou les outils, la génération visible et la surcharge locale.