Metrik latensi API AI: TTFT, respons pertama, dan kecepatan keluaran
Panduan berdasarkan linimasa permintaan untuk memisahkan header penyedia, peristiwa SSE pertama, respons efektif, teks terlihat, latensi total, dan kecepatan keluaran.

Latensi AI API bukan satu angka. Untuk permintaan streaming, catat waktu kedatangan header dari penyedia, peristiwa SSE tidak kosong pertama, konten atau tindakan efektif pertama, teks terlihat pertama, dan penyelesaian respons. Semua tonggak ini menjawab pertanyaan berbeda dan tidak boleh disebut “TTFT” secara bersamaan.
Untuk chat teks, waktu hingga teks terlihat pertama biasanya mewakili pengalaman pengguna. Pada alur kerja penalaran atau alat, argumen fungsi dapat menjadi keluaran efektif lebih awal. Kecepatan pembuatan diukur terpisah setelah keluaran dimulai.
Bangun linimasa permintaan sebelum menamai metrik
Gunakan jam monotonik dan satu titik awal:
t0 gateway menerima permintaan
t1 permintaan ke penyedia dimulai
t2 header respons penyedia tiba
t3 peristiwa SSE tidak kosong pertama
t4 konten atau tindakan efektif pertama
t5 tambahan teks terlihat pertama
t6 badan respons penyedia selesai atau tertutup
t7 pemrosesan gateway selesai
Tidak semua permintaan memiliki semua tonggak. Nilai yang tidak ada harus tetap dicatat sebagai tidak ada, bukan 0.
| Bidang | Pengukuran | Batas penting |
|---|---|---|
auth_ms |
Autentikasi | Tahap lokal |
distribution_ms |
Pemilihan kanal dan perutean | Tahap lokal |
body_read_ms |
Membaca badan permintaan | Menemukan unggahan lambat |
upstream_headers_ms |
Dari awal permintaan hingga header penyedia | Titik awal bukan penerimaan di gateway |
first_sse_event_ms |
Dari penerimaan hingga peristiwa pertama | Bisa hanya berisi metadata |
first_response_ms |
Dari penerimaan hingga konten atau tindakan efektif | Teks, penalaran, atau argumen fungsi |
first_text_delta_ms |
Dari penerimaan hingga teks terlihat | Dapat tidak ada |
upstream_done_ms |
Dari penerimaan hingga respons penyedia ditutup | Penutupan tidak selalu berarti sukses |
total_handler_ms |
Dari penerimaan hingga akhir penerusan | Ukuran menyeluruh gateway yang paling dekat |
visible_output_tps |
Token / jendela keluaran terlihat | Diagnosis pengguna, bukan TPS sistem |
Jangan mengurangi durasi yang memiliki titik awal berbeda.
TTFT memiliki beberapa arti praktis
Panduan tolok ukur NVIDIA NIM biasanya memasukkan jaringan, antrean, dan prapemrosesan instruksi ke TTFT serta mengecualikan respons awal kosong. Aliran modern dapat mengirim metadata, penalaran, argumen fungsi, masukan alat, atau sinyal aktivitas sebelum teks.
| Nama | Definisi | Penggunaan |
|---|---|---|
| Waktu hingga header | Dari awal hingga header penyedia | Jaringan dan tahap penerimaan |
| Waktu hingga peristiwa pertama | Hingga SSE tidak kosong pertama | Aktivitas transport |
| Waktu hingga respons efektif pertama | Hingga konten atau tindakan berguna | Responsivitas agen dan penalaran |
| Waktu hingga teks terlihat pertama | Hingga teks dapat ditampilkan | Pengalaman chat |
Dasbor TTFT harus menjelaskan definisi yang dipakai.
Pisahkan responsivitas dan kecepatan pembuatan
end_to_end_latency = final_response_time - request_start_time
visible_generation_window = final_response_time - first_visible_text_time
visible_output_tps = output_tokens / visible_generation_window_seconds
Latensi antartoken mengecualikan TTFT dan biasanya membagi waktu tersisa dengan output_tokens - 1. Jangan hitung peristiwa SSE sebagai token; satu peristiwa dapat berisi nol atau beberapa token.
Teks awal yang cepat dengan TPS rendah terasa responsif lalu melambat. Teks awal yang lambat dengan TPS tinggi terasa diam lalu selesai cepat. TPS per pengguna dan throughput gabungan juga berbeda.
Penalaran dan alat dapat muncul sebelum teks
Pada respons teks saja, first_response_ms dan first_text_delta_ms berdekatan. Argumen fungsi pada 1,8 detik dan teks pada 6,4 detik berarti tindakan berguna sudah tersedia, tetapi pengguna belum melihat teks.
- agen terminal dapat memakai tindakan efektif pertama;
- antarmuka teks memakai teks terlihat pertama;
- API alat mungkin tidak menghasilkan teks;
- pembungkus SSE awal hanya membuktikan aktivitas koneksi.
Panduan Streaming AI API menjelaskan penguraian, pembatalan, dan batas waktu tidak aktif. Hitung metrik setelah peristiwa diklasifikasikan dengan benar.
Diagnosis tahap lambat dalam urutan tetap
| Gejala | Metrik | Periksa |
|---|---|---|
| Lambat sebelum header | upstream_headers_ms |
Jaringan, penerimaan, antrean, rute, wilayah |
| Header cepat, keluaran terlambat | first_response_ms |
Antrean model, prapemrosesan, penalaran, permintaan aktif |
| Peristiwa cepat, keluaran terlambat | Selisih SSE dan respons | Metadata, sinyal aktivitas, awal penalaran |
| Tindakan cepat, teks terlambat | Selisih respons dan teks | Alat, penalaran, atau penyusunan respons |
| Teks cepat, pembuatan lambat | visible_output_tps |
Dekode, perebutan sumber daya, konteks panjang |
| Penyedia normal | Bidang lokal | Autentikasi, kebijakan, unggahan klien |
Satu metrik tidak membuktikan akar masalah. Gabungkan data rute, wilayah, penyedia, dan beban serentak.
Baca tiga jejak sintetis
Jejak A: menunggu header
| Metrik | Nilai |
|---|---|
upstream_headers_ms |
6.100 ms |
first_sse_event_ms |
6.300 ms |
first_response_ms |
6.350 ms |
first_text_delta_ms |
6.400 ms |
total_handler_ms |
9.200 ms |
visible_output_tps |
42 |
Sebagian besar waktu habis sebelum header. Periksa rute, tahap penerimaan, jaringan, wilayah, dan beban sebelum antarmuka.
Jejak B: tindakan sebelum teks
| Metrik | Nilai |
|---|---|
upstream_headers_ms |
240 ms |
first_sse_event_ms |
310 ms |
first_response_ms |
2.900 ms |
first_text_delta_ms |
8.700 ms |
total_handler_ms |
10.200 ms |
visible_output_tps |
55 |
Tindakan muncul pada 2,9 detik, sedangkan teks baru muncul 5,8 detik kemudian. Periksa penalaran atau alat; menambah batas waktu header tidak membantu.
Jejak C: mulai cepat, pembuatan lambat
| Metrik | Nilai |
|---|---|
upstream_headers_ms |
260 ms |
first_sse_event_ms |
330 ms |
first_response_ms |
420 ms |
first_text_delta_ms |
430 ms |
total_handler_ms |
20.430 ms |
visible_output_tps |
9,8 |
Teks mulai cepat, tetapi pembuatannya memakan waktu hampir 20 detik. Bandingkan panjang keluaran, konteks, kanal, permintaan aktif, dan penyedia. Batas waktu keluaran pertama tidak mendeteksi pola ini.
Bandingkan hanya pada kondisi terkontrol
Catat model dan rute, distribusi token, mode streaming, tingkat penalaran, alat, wilayah, jalur jaringan, konkurensi, pengambilan sampel, keluaran maksimum, pemanasan, kebijakan percobaan ulang, ukuran sampel, dan metode persentil.
Bandingkan p50, p95, dan p99, bukan satu rata-rata. Pertahankan batas waktu dan kesalahan dalam data. Instruksi, panjang, atau konkurensi yang berbeda tidak boleh dijadikan peringkat kecepatan model.
Simpan metadata, bukan konten
ID permintaan, stempel waktu, model, grup, referensi kanal, status, jumlah token, bidang waktu, jumlah peristiwa, permintaan aktif, wilayah kasar, dan penggolong seperti upstream_headers_slow biasanya cukup.
Instruksi, respons, kunci API, dan identitas teks biasa tidak diperlukan. Terapkan kebijakan retensi dan kontrol akses pada metadata.
Mulai investigasi dari linimasa, gunakan Perutean AI API yang Andal untuk membandingkan percobaan dan Pemecahan Masalah Kesalahan AI API untuk menghubungkan waktu dengan status akhir. Dengan itu tahap penerimaan, awal model, penalaran atau alat, pembuatan teks terlihat, dan beban tambahan lokal dapat dipisahkan.