Latenzmetriken für KI-APIs: TTFT, erste Antwort und Ausgabegeschwindigkeit

Leitfaden entlang der Anfragezeitachse: Anbieter-Header, erstes SSE-Ereignis, erste wirksame Antwort, sichtbarer Text, Gesamtlatenz und Ausgabegeschwindigkeit.

Latenzmetriken für KI-APIs: TTFT, erste Antwort und Ausgabegeschwindigkeit

Die Latenz einer KI-API ist keine einzelne Zahl. Bei einer Streaming-Anfrage sollten Anbieter-Header, das erste nicht leere SSE-Ereignis, der erste wirksame Inhalt oder die erste Aktion, der erste sichtbare Text und der Abschluss getrennt erfasst werden. Diese Meilensteine beantworten unterschiedliche Fragen und dürfen nicht alle „TTFT“ heißen.

Für einen Text-Chat beschreibt die Zeit bis zum ersten sichtbaren Text meist die Nutzerlatenz. In Abläufen mit Schlussfolgerungen oder Werkzeugen können Funktionsargumente schon früher ein wirksames Ergebnis darstellen. Die Generierungsgeschwindigkeit wird erst nach Ausgabebeginn gemessen.

Vor der Benennung eine Anfrage-Zeitleiste erstellen

Alle Zeitpunkte müssen dieselbe monotone Uhr und denselben Ausgangspunkt verwenden:

t0  Gateway empfängt die Anfrage
t1  Gateway startet die Anfrage beim Anbieter
t2  Antwort-Header des Anbieters treffen ein
t3  Erstes nicht leeres SSE-Ereignis
t4  Erster wirksamer Inhalt oder erste Aktion
t5  Erstes sichtbares Textinkrement
t6  Antwortkörper des Anbieters endet oder schließt
t7  Gateway-Verarbeitung endet

Nicht jede Anfrage besitzt alle Punkte. Fehlende Werte bleiben nicht vorhanden und werden nicht als 0 gespeichert.

Feld Messung Wichtige Grenze
auth_ms Token- und Nutzerprüfung Lokale Phase
distribution_ms Kanalauswahl und Routing Lokale Phase
body_read_ms Lesen des Anfragekörpers Erkennt einen langsamen Upload vor dem Routing
upstream_headers_ms Vom Start der Anbieteranfrage bis zu den Headern Ausgangspunkt ist der Start der Anbieteranfrage
first_sse_event_ms Vom Eingang am Gateway bis zum ersten Ereignis Kann nur Metadaten enthalten
first_response_ms Bis zu wirksamem Inhalt oder einer Aktion Text, Schlussfolgerung oder Funktionsargumente
first_text_delta_ms Bis zu sichtbarem Text Fehlt bei reinen Werkzeugaufrufen
upstream_done_ms Bis zum Schließen des Anbieter-Antwortkörpers Ein Schließen bedeutet nicht zwingend Erfolg
total_handler_ms Bis zum letzten bekannten Weiterleitungspunkt Annäherung an die Gateway-Gesamtdauer
visible_output_tps Tokens / sichtbares Fenster Nutzerdiagnose, kein System-TPS

Dauern mit verschiedenen Ausgangspunkten dürfen nicht voneinander abgezogen werden.

TTFT hat mehrere praktische Bedeutungen

Der NVIDIA-NIM-Leitfaden für Vergleichsmessungen zählt Netzwerk, Warteschlange und Vorverarbeitung der Eingabe typischerweise zu TTFT und schließt leere Anfangsantworten aus. Moderne Streams können vor sichtbarem Text Metadaten, Schlussfolgerungen, Funktionsargumente, Werkzeugeingaben oder Lebenszeichen senden.

Name Empfohlene Bedeutung Zweck
Zeit bis zu den Headern Vom Anfragestart bis zu den Anbieter-Headern Netzwerk und Annahmephase
Zeit bis zum ersten Ereignis Bis zum ersten nicht leeren SSE-Ereignis Aktivität der Übertragung
Zeit bis zur ersten wirksamen Antwort Bis zu nützlichem Inhalt oder einer Aktion Reaktionsfähigkeit von Agent und Schlussfolgerung
Zeit bis zum ersten sichtbaren Text Bis zu darstellbarem Text Nutzererlebnis im Chat

Ein Dashboard mit „TTFT“ muss offenlegen, welche Definition gemeint ist.

Reaktionszeit und Generierung trennen

end_to_end_latency = final_response_time - request_start_time
visible_generation_window = final_response_time - first_visible_text_time
visible_output_tps = output_tokens / visible_generation_window_seconds

Die Latenz zwischen Tokens schließt TTFT aus und teilt die Restzeit meist durch output_tokens - 1. SSE-Ereignisse dürfen nicht als Tokens gezählt werden: Ein Ereignis kann null, einen oder mehrere Tokens enthalten.

Früher Text mit niedrigem TPS startet schnell und wird dann zäh; später Text mit hohem TPS wirkt blockiert und endet schnell. TPS pro Benutzer und der Gesamtdurchsatz sind ebenfalls verschiedene Größen.

Schlussfolgerungen und Werkzeuge können vor dem Text erscheinen

Bei reinem Text liegen first_response_ms und first_text_delta_ms nahe beieinander. Funktionsargumente nach 1,8 Sekunden und sichtbarer Text nach 6,4 Sekunden bedeuten: Das System hat früh eine ausführbare Aktion, der Nutzer aber noch keinen Text.

  • Terminal-Agenten können die erste wirksame Aktion messen;
  • reine Chat-Oberflächen sollten den ersten sichtbaren Text messen;
  • Werkzeug-APIs benötigen eventuell keinen sichtbaren Text;
  • frühe SSE-Hüllen beweisen eine aktive Verbindung, aber keinen nützlichen Fortschritt.

Der Leitfaden zum Streaming von KI-APIs erklärt Analyse, Abbruch und Leerlaufzeitlimit. Erst nach der Unterscheidung von Hülle und wirksamer Ausgabe sind die Metriken sinnvoll.

Langsame Phasen in fester Reihenfolge diagnostizieren

Symptom Metrik Prüfen
Langsam vor den Headern upstream_headers_ms Netzwerk, Annahmephase, Warteschlange, Route, Region
Header schnell, Ausgabe spät first_response_ms Modellwarteschlange, Vorverarbeitung, Schlussfolgerung, laufende Anfragen
Ereignis schnell, Ausgabe spät Abstand zwischen SSE und Antwort Metadaten, Lebenszeichen, Start der Schlussfolgerung
Aktion schnell, Text spät Abstand zwischen Antwort und Text Werkzeug, Schlussfolgerung oder Zusammensetzung
Text schnell, Generierung langsam visible_output_tps Decodierung, Ressourcenkonflikte, langer Kontext
Anbieter normal Lokale Felder Authentifizierung, Richtlinie, Upload des Clients

Keine einzelne Metrik beweist die Ursache; Route, Region, Anbieter und gleichzeitige Last müssen gemeinsam betrachtet werden.

Drei synthetische Ablaufspuren lesen

Ablaufspur A: Warten auf Anbieter-Header

Metrik Wert
upstream_headers_ms 6.100 ms
first_sse_event_ms 6.300 ms
first_response_ms 6.350 ms
first_text_delta_ms 6.400 ms
total_handler_ms 9.200 ms
visible_output_tps 42

Der Großteil liegt vor den Headern. Route, Annahmephase, Netzwerk, Region und Last sind vor der Benutzeroberfläche zu prüfen.

Ablaufspur B: Aktion vor sichtbarem Text

Metrik Wert
upstream_headers_ms 240 ms
first_sse_event_ms 310 ms
first_response_ms 2.900 ms
first_text_delta_ms 8.700 ms
total_handler_ms 10.200 ms
visible_output_tps 55

Eine Aktion existiert nach 2,9 Sekunden, Text erst 5,8 Sekunden später. Schlussfolgerung oder Werkzeuge sind zu untersuchen; ein längeres Header-Zeitlimit hilft nicht.

Ablaufspur C: Schneller Start, langsame Generierung

Metrik Wert
upstream_headers_ms 260 ms
first_sse_event_ms 330 ms
first_response_ms 420 ms
first_text_delta_ms 430 ms
total_handler_ms 20.430 ms
visible_output_tps 9,8

Der Text startet schnell, läuft aber fast 20 Sekunden. Ausgabelänge, Kontext, Kanal, laufende Anfragen und Anbieter sind zu vergleichen. Ein Zeitlimit für die erste Ausgabe erkennt dieses Muster nicht.

Latenz nur unter kontrollierten Bedingungen vergleichen

Modell und Route, Token-Verteilungen, Streaming-Modus, Schlussfolgerungsaufwand, Werkzeuge, Region, Netzwerkpfad, Parallelität, Sampling, maximale Ausgabe, Aufwärmphase, Wiederholungsrichtlinie, Stichprobengröße und Perzentilmethode sind zu dokumentieren.

p50, p95 und p99 statt eines Durchschnitts vergleichen und Fehler sichtbar lassen. Verschiedene Eingaben, Ausgabelängen oder Parallelitätsgrade dürfen nicht als Rangliste der Modellgeschwindigkeit dargestellt werden.

Diagnosemetadaten statt Inhalt speichern

Anfrage-ID, Zeitstempel, Modell, Gruppe, Kanalreferenz, Status, Tokenanzahl, Zeitfelder, Ereignisanzahl, laufende Anfragen, grobe Region und Klassifikatoren wie upstream_headers_slow reichen häufig aus.

Eingaben, Antworten, API-Schlüssel oder Klartextidentitäten sind nicht erforderlich. Auch Metadaten benötigen Aufbewahrungsfristen und Zugriffskontrollen.

Eine Untersuchung beginnt mit der Zeitleiste, verwendet zuverlässiges Routing für KI-APIs für die Route jedes Versuchs und die Fehlerbehebung bei KI-APIs für den Endstatus. So lassen sich Annahmephase, Modellstart, Schlussfolgerung oder Werkzeug, sichtbare Generierung und lokaler Zusatzaufwand trennen.