Latenzmetriken für KI-APIs: TTFT, erste Antwort und Ausgabegeschwindigkeit
Leitfaden entlang der Anfragezeitachse: Anbieter-Header, erstes SSE-Ereignis, erste wirksame Antwort, sichtbarer Text, Gesamtlatenz und Ausgabegeschwindigkeit.

Die Latenz einer KI-API ist keine einzelne Zahl. Bei einer Streaming-Anfrage sollten Anbieter-Header, das erste nicht leere SSE-Ereignis, der erste wirksame Inhalt oder die erste Aktion, der erste sichtbare Text und der Abschluss getrennt erfasst werden. Diese Meilensteine beantworten unterschiedliche Fragen und dürfen nicht alle „TTFT“ heißen.
Für einen Text-Chat beschreibt die Zeit bis zum ersten sichtbaren Text meist die Nutzerlatenz. In Abläufen mit Schlussfolgerungen oder Werkzeugen können Funktionsargumente schon früher ein wirksames Ergebnis darstellen. Die Generierungsgeschwindigkeit wird erst nach Ausgabebeginn gemessen.
Vor der Benennung eine Anfrage-Zeitleiste erstellen
Alle Zeitpunkte müssen dieselbe monotone Uhr und denselben Ausgangspunkt verwenden:
t0 Gateway empfängt die Anfrage
t1 Gateway startet die Anfrage beim Anbieter
t2 Antwort-Header des Anbieters treffen ein
t3 Erstes nicht leeres SSE-Ereignis
t4 Erster wirksamer Inhalt oder erste Aktion
t5 Erstes sichtbares Textinkrement
t6 Antwortkörper des Anbieters endet oder schließt
t7 Gateway-Verarbeitung endet
Nicht jede Anfrage besitzt alle Punkte. Fehlende Werte bleiben nicht vorhanden und werden nicht als 0 gespeichert.
| Feld | Messung | Wichtige Grenze |
|---|---|---|
auth_ms |
Token- und Nutzerprüfung | Lokale Phase |
distribution_ms |
Kanalauswahl und Routing | Lokale Phase |
body_read_ms |
Lesen des Anfragekörpers | Erkennt einen langsamen Upload vor dem Routing |
upstream_headers_ms |
Vom Start der Anbieteranfrage bis zu den Headern | Ausgangspunkt ist der Start der Anbieteranfrage |
first_sse_event_ms |
Vom Eingang am Gateway bis zum ersten Ereignis | Kann nur Metadaten enthalten |
first_response_ms |
Bis zu wirksamem Inhalt oder einer Aktion | Text, Schlussfolgerung oder Funktionsargumente |
first_text_delta_ms |
Bis zu sichtbarem Text | Fehlt bei reinen Werkzeugaufrufen |
upstream_done_ms |
Bis zum Schließen des Anbieter-Antwortkörpers | Ein Schließen bedeutet nicht zwingend Erfolg |
total_handler_ms |
Bis zum letzten bekannten Weiterleitungspunkt | Annäherung an die Gateway-Gesamtdauer |
visible_output_tps |
Tokens / sichtbares Fenster | Nutzerdiagnose, kein System-TPS |
Dauern mit verschiedenen Ausgangspunkten dürfen nicht voneinander abgezogen werden.
TTFT hat mehrere praktische Bedeutungen
Der NVIDIA-NIM-Leitfaden für Vergleichsmessungen zählt Netzwerk, Warteschlange und Vorverarbeitung der Eingabe typischerweise zu TTFT und schließt leere Anfangsantworten aus. Moderne Streams können vor sichtbarem Text Metadaten, Schlussfolgerungen, Funktionsargumente, Werkzeugeingaben oder Lebenszeichen senden.
| Name | Empfohlene Bedeutung | Zweck |
|---|---|---|
| Zeit bis zu den Headern | Vom Anfragestart bis zu den Anbieter-Headern | Netzwerk und Annahmephase |
| Zeit bis zum ersten Ereignis | Bis zum ersten nicht leeren SSE-Ereignis | Aktivität der Übertragung |
| Zeit bis zur ersten wirksamen Antwort | Bis zu nützlichem Inhalt oder einer Aktion | Reaktionsfähigkeit von Agent und Schlussfolgerung |
| Zeit bis zum ersten sichtbaren Text | Bis zu darstellbarem Text | Nutzererlebnis im Chat |
Ein Dashboard mit „TTFT“ muss offenlegen, welche Definition gemeint ist.
Reaktionszeit und Generierung trennen
end_to_end_latency = final_response_time - request_start_time
visible_generation_window = final_response_time - first_visible_text_time
visible_output_tps = output_tokens / visible_generation_window_seconds
Die Latenz zwischen Tokens schließt TTFT aus und teilt die Restzeit meist durch output_tokens - 1. SSE-Ereignisse dürfen nicht als Tokens gezählt werden: Ein Ereignis kann null, einen oder mehrere Tokens enthalten.
Früher Text mit niedrigem TPS startet schnell und wird dann zäh; später Text mit hohem TPS wirkt blockiert und endet schnell. TPS pro Benutzer und der Gesamtdurchsatz sind ebenfalls verschiedene Größen.
Schlussfolgerungen und Werkzeuge können vor dem Text erscheinen
Bei reinem Text liegen first_response_ms und first_text_delta_ms nahe beieinander. Funktionsargumente nach 1,8 Sekunden und sichtbarer Text nach 6,4 Sekunden bedeuten: Das System hat früh eine ausführbare Aktion, der Nutzer aber noch keinen Text.
- Terminal-Agenten können die erste wirksame Aktion messen;
- reine Chat-Oberflächen sollten den ersten sichtbaren Text messen;
- Werkzeug-APIs benötigen eventuell keinen sichtbaren Text;
- frühe SSE-Hüllen beweisen eine aktive Verbindung, aber keinen nützlichen Fortschritt.
Der Leitfaden zum Streaming von KI-APIs erklärt Analyse, Abbruch und Leerlaufzeitlimit. Erst nach der Unterscheidung von Hülle und wirksamer Ausgabe sind die Metriken sinnvoll.
Langsame Phasen in fester Reihenfolge diagnostizieren
| Symptom | Metrik | Prüfen |
|---|---|---|
| Langsam vor den Headern | upstream_headers_ms |
Netzwerk, Annahmephase, Warteschlange, Route, Region |
| Header schnell, Ausgabe spät | first_response_ms |
Modellwarteschlange, Vorverarbeitung, Schlussfolgerung, laufende Anfragen |
| Ereignis schnell, Ausgabe spät | Abstand zwischen SSE und Antwort | Metadaten, Lebenszeichen, Start der Schlussfolgerung |
| Aktion schnell, Text spät | Abstand zwischen Antwort und Text | Werkzeug, Schlussfolgerung oder Zusammensetzung |
| Text schnell, Generierung langsam | visible_output_tps |
Decodierung, Ressourcenkonflikte, langer Kontext |
| Anbieter normal | Lokale Felder | Authentifizierung, Richtlinie, Upload des Clients |
Keine einzelne Metrik beweist die Ursache; Route, Region, Anbieter und gleichzeitige Last müssen gemeinsam betrachtet werden.
Drei synthetische Ablaufspuren lesen
Ablaufspur A: Warten auf Anbieter-Header
| Metrik | Wert |
|---|---|
upstream_headers_ms |
6.100 ms |
first_sse_event_ms |
6.300 ms |
first_response_ms |
6.350 ms |
first_text_delta_ms |
6.400 ms |
total_handler_ms |
9.200 ms |
visible_output_tps |
42 |
Der Großteil liegt vor den Headern. Route, Annahmephase, Netzwerk, Region und Last sind vor der Benutzeroberfläche zu prüfen.
Ablaufspur B: Aktion vor sichtbarem Text
| Metrik | Wert |
|---|---|
upstream_headers_ms |
240 ms |
first_sse_event_ms |
310 ms |
first_response_ms |
2.900 ms |
first_text_delta_ms |
8.700 ms |
total_handler_ms |
10.200 ms |
visible_output_tps |
55 |
Eine Aktion existiert nach 2,9 Sekunden, Text erst 5,8 Sekunden später. Schlussfolgerung oder Werkzeuge sind zu untersuchen; ein längeres Header-Zeitlimit hilft nicht.
Ablaufspur C: Schneller Start, langsame Generierung
| Metrik | Wert |
|---|---|
upstream_headers_ms |
260 ms |
first_sse_event_ms |
330 ms |
first_response_ms |
420 ms |
first_text_delta_ms |
430 ms |
total_handler_ms |
20.430 ms |
visible_output_tps |
9,8 |
Der Text startet schnell, läuft aber fast 20 Sekunden. Ausgabelänge, Kontext, Kanal, laufende Anfragen und Anbieter sind zu vergleichen. Ein Zeitlimit für die erste Ausgabe erkennt dieses Muster nicht.
Latenz nur unter kontrollierten Bedingungen vergleichen
Modell und Route, Token-Verteilungen, Streaming-Modus, Schlussfolgerungsaufwand, Werkzeuge, Region, Netzwerkpfad, Parallelität, Sampling, maximale Ausgabe, Aufwärmphase, Wiederholungsrichtlinie, Stichprobengröße und Perzentilmethode sind zu dokumentieren.
p50, p95 und p99 statt eines Durchschnitts vergleichen und Fehler sichtbar lassen. Verschiedene Eingaben, Ausgabelängen oder Parallelitätsgrade dürfen nicht als Rangliste der Modellgeschwindigkeit dargestellt werden.
Diagnosemetadaten statt Inhalt speichern
Anfrage-ID, Zeitstempel, Modell, Gruppe, Kanalreferenz, Status, Tokenanzahl, Zeitfelder, Ereignisanzahl, laufende Anfragen, grobe Region und Klassifikatoren wie upstream_headers_slow reichen häufig aus.
Eingaben, Antworten, API-Schlüssel oder Klartextidentitäten sind nicht erforderlich. Auch Metadaten benötigen Aufbewahrungsfristen und Zugriffskontrollen.
Eine Untersuchung beginnt mit der Zeitleiste, verwendet zuverlässiges Routing für KI-APIs für die Route jedes Versuchs und die Fehlerbehebung bei KI-APIs für den Endstatus. So lassen sich Annahmephase, Modellstart, Schlussfolgerung oder Werkzeug, sichtbare Generierung und lokaler Zusatzaufwand trennen.