Metrik latensi API AI: TTFT, respons pertama, dan kecepatan keluaran

Panduan berdasarkan linimasa permintaan untuk memisahkan header penyedia, peristiwa SSE pertama, respons efektif, teks terlihat, latensi total, dan kecepatan keluaran.

Metrik latensi API AI: TTFT, respons pertama, dan kecepatan keluaran

Latensi AI API bukan satu angka. Untuk permintaan streaming, catat waktu kedatangan header dari penyedia, peristiwa SSE tidak kosong pertama, konten atau tindakan efektif pertama, teks terlihat pertama, dan penyelesaian respons. Semua tonggak ini menjawab pertanyaan berbeda dan tidak boleh disebut “TTFT” secara bersamaan.

Untuk chat teks, waktu hingga teks terlihat pertama biasanya mewakili pengalaman pengguna. Pada alur kerja penalaran atau alat, argumen fungsi dapat menjadi keluaran efektif lebih awal. Kecepatan pembuatan diukur terpisah setelah keluaran dimulai.

Bangun linimasa permintaan sebelum menamai metrik

Gunakan jam monotonik dan satu titik awal:

t0  gateway menerima permintaan
t1  permintaan ke penyedia dimulai
t2  header respons penyedia tiba
t3  peristiwa SSE tidak kosong pertama
t4  konten atau tindakan efektif pertama
t5  tambahan teks terlihat pertama
t6  badan respons penyedia selesai atau tertutup
t7  pemrosesan gateway selesai

Tidak semua permintaan memiliki semua tonggak. Nilai yang tidak ada harus tetap dicatat sebagai tidak ada, bukan 0.

Bidang Pengukuran Batas penting
auth_ms Autentikasi Tahap lokal
distribution_ms Pemilihan kanal dan perutean Tahap lokal
body_read_ms Membaca badan permintaan Menemukan unggahan lambat
upstream_headers_ms Dari awal permintaan hingga header penyedia Titik awal bukan penerimaan di gateway
first_sse_event_ms Dari penerimaan hingga peristiwa pertama Bisa hanya berisi metadata
first_response_ms Dari penerimaan hingga konten atau tindakan efektif Teks, penalaran, atau argumen fungsi
first_text_delta_ms Dari penerimaan hingga teks terlihat Dapat tidak ada
upstream_done_ms Dari penerimaan hingga respons penyedia ditutup Penutupan tidak selalu berarti sukses
total_handler_ms Dari penerimaan hingga akhir penerusan Ukuran menyeluruh gateway yang paling dekat
visible_output_tps Token / jendela keluaran terlihat Diagnosis pengguna, bukan TPS sistem

Jangan mengurangi durasi yang memiliki titik awal berbeda.

TTFT memiliki beberapa arti praktis

Panduan tolok ukur NVIDIA NIM biasanya memasukkan jaringan, antrean, dan prapemrosesan instruksi ke TTFT serta mengecualikan respons awal kosong. Aliran modern dapat mengirim metadata, penalaran, argumen fungsi, masukan alat, atau sinyal aktivitas sebelum teks.

Nama Definisi Penggunaan
Waktu hingga header Dari awal hingga header penyedia Jaringan dan tahap penerimaan
Waktu hingga peristiwa pertama Hingga SSE tidak kosong pertama Aktivitas transport
Waktu hingga respons efektif pertama Hingga konten atau tindakan berguna Responsivitas agen dan penalaran
Waktu hingga teks terlihat pertama Hingga teks dapat ditampilkan Pengalaman chat

Dasbor TTFT harus menjelaskan definisi yang dipakai.

Pisahkan responsivitas dan kecepatan pembuatan

end_to_end_latency = final_response_time - request_start_time
visible_generation_window = final_response_time - first_visible_text_time
visible_output_tps = output_tokens / visible_generation_window_seconds

Latensi antartoken mengecualikan TTFT dan biasanya membagi waktu tersisa dengan output_tokens - 1. Jangan hitung peristiwa SSE sebagai token; satu peristiwa dapat berisi nol atau beberapa token.

Teks awal yang cepat dengan TPS rendah terasa responsif lalu melambat. Teks awal yang lambat dengan TPS tinggi terasa diam lalu selesai cepat. TPS per pengguna dan throughput gabungan juga berbeda.

Penalaran dan alat dapat muncul sebelum teks

Pada respons teks saja, first_response_ms dan first_text_delta_ms berdekatan. Argumen fungsi pada 1,8 detik dan teks pada 6,4 detik berarti tindakan berguna sudah tersedia, tetapi pengguna belum melihat teks.

  • agen terminal dapat memakai tindakan efektif pertama;
  • antarmuka teks memakai teks terlihat pertama;
  • API alat mungkin tidak menghasilkan teks;
  • pembungkus SSE awal hanya membuktikan aktivitas koneksi.

Panduan Streaming AI API menjelaskan penguraian, pembatalan, dan batas waktu tidak aktif. Hitung metrik setelah peristiwa diklasifikasikan dengan benar.

Diagnosis tahap lambat dalam urutan tetap

Gejala Metrik Periksa
Lambat sebelum header upstream_headers_ms Jaringan, penerimaan, antrean, rute, wilayah
Header cepat, keluaran terlambat first_response_ms Antrean model, prapemrosesan, penalaran, permintaan aktif
Peristiwa cepat, keluaran terlambat Selisih SSE dan respons Metadata, sinyal aktivitas, awal penalaran
Tindakan cepat, teks terlambat Selisih respons dan teks Alat, penalaran, atau penyusunan respons
Teks cepat, pembuatan lambat visible_output_tps Dekode, perebutan sumber daya, konteks panjang
Penyedia normal Bidang lokal Autentikasi, kebijakan, unggahan klien

Satu metrik tidak membuktikan akar masalah. Gabungkan data rute, wilayah, penyedia, dan beban serentak.

Baca tiga jejak sintetis

Jejak A: menunggu header

Metrik Nilai
upstream_headers_ms 6.100 ms
first_sse_event_ms 6.300 ms
first_response_ms 6.350 ms
first_text_delta_ms 6.400 ms
total_handler_ms 9.200 ms
visible_output_tps 42

Sebagian besar waktu habis sebelum header. Periksa rute, tahap penerimaan, jaringan, wilayah, dan beban sebelum antarmuka.

Jejak B: tindakan sebelum teks

Metrik Nilai
upstream_headers_ms 240 ms
first_sse_event_ms 310 ms
first_response_ms 2.900 ms
first_text_delta_ms 8.700 ms
total_handler_ms 10.200 ms
visible_output_tps 55

Tindakan muncul pada 2,9 detik, sedangkan teks baru muncul 5,8 detik kemudian. Periksa penalaran atau alat; menambah batas waktu header tidak membantu.

Jejak C: mulai cepat, pembuatan lambat

Metrik Nilai
upstream_headers_ms 260 ms
first_sse_event_ms 330 ms
first_response_ms 420 ms
first_text_delta_ms 430 ms
total_handler_ms 20.430 ms
visible_output_tps 9,8

Teks mulai cepat, tetapi pembuatannya memakan waktu hampir 20 detik. Bandingkan panjang keluaran, konteks, kanal, permintaan aktif, dan penyedia. Batas waktu keluaran pertama tidak mendeteksi pola ini.

Bandingkan hanya pada kondisi terkontrol

Catat model dan rute, distribusi token, mode streaming, tingkat penalaran, alat, wilayah, jalur jaringan, konkurensi, pengambilan sampel, keluaran maksimum, pemanasan, kebijakan percobaan ulang, ukuran sampel, dan metode persentil.

Bandingkan p50, p95, dan p99, bukan satu rata-rata. Pertahankan batas waktu dan kesalahan dalam data. Instruksi, panjang, atau konkurensi yang berbeda tidak boleh dijadikan peringkat kecepatan model.

Simpan metadata, bukan konten

ID permintaan, stempel waktu, model, grup, referensi kanal, status, jumlah token, bidang waktu, jumlah peristiwa, permintaan aktif, wilayah kasar, dan penggolong seperti upstream_headers_slow biasanya cukup.

Instruksi, respons, kunci API, dan identitas teks biasa tidak diperlukan. Terapkan kebijakan retensi dan kontrol akses pada metadata.

Mulai investigasi dari linimasa, gunakan Perutean AI API yang Andal untuk membandingkan percobaan dan Pemecahan Masalah Kesalahan AI API untuk menghubungkan waktu dengan status akhir. Dengan itu tahap penerimaan, awal model, penalaran atau alat, pembuatan teks terlihat, dan beban tambahan lokal dapat dipisahkan.