Chỉ số độ trễ API AI: TTFT, phản hồi đầu tiên và tốc độ đầu ra
Hướng dẫn theo dòng thời gian của yêu cầu để tách tiêu đề từ nhà cung cấp, sự kiện SSE đầu tiên, phản hồi hữu ích, văn bản hiển thị, tổng độ trễ và tốc độ đầu ra.

Độ trễ của AI API không phải một con số duy nhất. Với yêu cầu truyền phát, cần ghi riêng lúc tiêu đề phản hồi của nhà cung cấp đến, sự kiện SSE không rỗng đầu tiên, nội dung hoặc hành động hữu ích đầu tiên, văn bản hiển thị đầu tiên và lúc phản hồi hoàn tất. Các mốc này trả lời những câu hỏi khác nhau và không nên đều gọi là TTFT.
Trong chat văn bản, thời gian đến văn bản hiển thị đầu tiên thường phản ánh trải nghiệm người dùng. Với quy trình suy luận hoặc công cụ, đối số hàm có thể là đầu ra hữu ích xuất hiện sớm hơn. Tốc độ sinh là phép đo riêng sau khi đầu ra bắt đầu.
Xây dựng dòng thời gian yêu cầu trước khi đặt tên chỉ số
Dùng đồng hồ đơn điệu và một điểm bắt đầu:
t0 cổng trung gian nhận yêu cầu
t1 bắt đầu yêu cầu tới nhà cung cấp
t2 tiêu đề phản hồi của nhà cung cấp đến
t3 sự kiện SSE không rỗng đầu tiên
t4 nội dung hoặc hành động hữu ích đầu tiên
t5 phần tăng thêm của văn bản hiển thị đầu tiên
t6 thân phản hồi của nhà cung cấp hoàn tất hoặc đóng
t7 quá trình xử lý tại cổng trung gian hoàn tất
Không phải yêu cầu nào cũng có mọi mốc. Giá trị không tồn tại phải được ghi là thiếu, không phải 0.
| Trường | Đo lường | Ranh giới |
|---|---|---|
auth_ms |
Xác thực | Giai đoạn cục bộ |
distribution_ms |
Chọn kênh và định tuyến | Giai đoạn cục bộ |
body_read_ms |
Đọc thân yêu cầu | Phát hiện quá trình tải lên chậm |
upstream_headers_ms |
Từ lúc bắt đầu yêu cầu đến tiêu đề của nhà cung cấp | Điểm bắt đầu không phải lúc cổng trung gian nhận yêu cầu |
first_sse_event_ms |
Từ lúc nhận đến sự kiện đầu tiên | Có thể chỉ chứa siêu dữ liệu |
first_response_ms |
Từ lúc nhận đến nội dung hoặc hành động hữu ích | Văn bản, suy luận hoặc đối số hàm |
first_text_delta_ms |
Từ lúc nhận đến văn bản hiển thị | Có thể không tồn tại |
upstream_done_ms |
Từ lúc nhận đến khi phản hồi của nhà cung cấp đóng | Đóng không phải lúc nào cũng là thành công |
total_handler_ms |
Từ lúc nhận đến cuối quá trình chuyển tiếp | Gần nhất với thời gian toàn trình tại cổng trung gian |
visible_output_tps |
Token / cửa sổ đầu ra hiển thị | Chẩn đoán theo người dùng, không phải TPS toàn hệ thống |
Không trừ các khoảng thời gian có điểm bắt đầu khác nhau.
TTFT có nhiều ý nghĩa thực tế
Hướng dẫn đo chuẩn NVIDIA NIM thường tính mạng, hàng đợi và tiền xử lý câu lệnh trong TTFT, đồng thời bỏ phản hồi đầu rỗng. Luồng hiện đại có thể phát siêu dữ liệu, suy luận, đối số hàm, đầu vào công cụ hoặc tín hiệu duy trì kết nối trước văn bản.
| Tên | Định nghĩa | Dùng cho |
|---|---|---|
| Thời gian đến tiêu đề | Từ lúc bắt đầu đến tiêu đề của nhà cung cấp | Mạng và giai đoạn tiếp nhận |
| Thời gian đến sự kiện đầu tiên | Đến sự kiện SSE không rỗng đầu tiên | Hoạt động của lớp truyền tải |
| Thời gian đến phản hồi hữu ích đầu tiên | Đến nội dung hoặc hành động hữu ích | Khả năng phản hồi của tác tử và suy luận |
| Thời gian đến văn bản hiển thị đầu tiên | Đến văn bản có thể hiển thị | Trải nghiệm chat |
Bảng theo dõi dùng TTFT phải ghi rõ định nghĩa.
Tách khả năng phản hồi khỏi tốc độ sinh
end_to_end_latency = final_response_time - request_start_time
visible_generation_window = final_response_time - first_visible_text_time
visible_output_tps = output_tokens / visible_generation_window_seconds
Độ trễ giữa các token loại TTFT và thường chia thời gian còn lại cho output_tokens - 1. Không đếm sự kiện SSE như token; một sự kiện có thể chứa không hoặc nhiều token.
Văn bản đầu xuất hiện nhanh với TPS thấp sẽ bắt đầu tốt rồi chậm dần. Văn bản đầu xuất hiện muộn với TPS cao trông như đứng yên rồi hoàn tất nhanh. TPS theo người dùng và thông lượng tổng hợp cũng là hai chỉ số khác nhau.
Suy luận và công cụ có thể đến trước văn bản
Trong phản hồi chỉ có văn bản, first_response_ms và first_text_delta_ms gần nhau. Đối số hàm ở 1,8 giây và văn bản ở 6,4 giây nghĩa là hệ thống đã có hành động hữu ích nhưng người dùng chưa thấy văn bản.
- tác tử dòng lệnh có thể dùng thời gian đến hành động hữu ích đầu tiên;
- giao diện chỉ hiển thị chữ dùng thời gian đến văn bản hiển thị đầu tiên;
- API công cụ có thể không bao giờ có văn bản;
- lớp bao SSE xuất hiện sớm chỉ chứng minh kết nối đang hoạt động.
Hướng dẫn truyền phát AI API giải thích phân tích cú pháp, hủy và thời gian chờ khi không hoạt động. Chỉ tính chỉ số sau khi phân loại sự kiện đúng.
Chẩn đoán giai đoạn chậm theo thứ tự cố định
| Triệu chứng | Chỉ số | Kiểm tra |
|---|---|---|
| Chậm trước tiêu đề | upstream_headers_ms |
Mạng, tiếp nhận, hàng đợi, tuyến, khu vực |
| Tiêu đề nhanh, đầu ra muộn | first_response_ms |
Hàng đợi mô hình, tiền xử lý, suy luận, yêu cầu đang chạy |
| Sự kiện nhanh, đầu ra muộn | Khoảng cách SSE đến phản hồi | Siêu dữ liệu, tín hiệu duy trì, khởi động suy luận |
| Hành động nhanh, văn bản muộn | Khoảng cách phản hồi đến văn bản | Công cụ, suy luận hoặc tổng hợp phản hồi |
| Văn bản nhanh, sinh chậm | visible_output_tps |
Giải mã, tranh chấp tài nguyên, ngữ cảnh dài |
| Nhà cung cấp bình thường | Trường cục bộ | Xác thực, chính sách, tải lên từ máy khách |
Một chỉ số không chứng minh nguyên nhân gốc. Cần kết hợp dữ liệu về tuyến, khu vực, nhà cung cấp và tải đồng thời.
Đọc ba vết theo dõi tổng hợp
Vết A: chờ tiêu đề phản hồi
| Chỉ số | Giá trị |
|---|---|
upstream_headers_ms |
6.100 ms |
first_sse_event_ms |
6.300 ms |
first_response_ms |
6.350 ms |
first_text_delta_ms |
6.400 ms |
total_handler_ms |
9.200 ms |
visible_output_tps |
42 |
Phần lớn thời gian nằm trước khi có tiêu đề. Kiểm tra tuyến, giai đoạn tiếp nhận, mạng, khu vực và tải trước khi tối ưu giao diện.
Vết B: hành động trước văn bản
| Chỉ số | Giá trị |
|---|---|
upstream_headers_ms |
240 ms |
first_sse_event_ms |
310 ms |
first_response_ms |
2.900 ms |
first_text_delta_ms |
8.700 ms |
total_handler_ms |
10.200 ms |
visible_output_tps |
55 |
Hành động hữu ích xuất hiện ở 2,9 giây, còn văn bản đến sau đó 5,8 giây. Kiểm tra suy luận hoặc công cụ; tăng thời gian chờ tiêu đề không giúp.
Vết C: bắt đầu nhanh, sinh chậm
| Chỉ số | Giá trị |
|---|---|
upstream_headers_ms |
260 ms |
first_sse_event_ms |
330 ms |
first_response_ms |
420 ms |
first_text_delta_ms |
430 ms |
total_handler_ms |
20.430 ms |
visible_output_tps |
9,8 |
Văn bản đến nhanh nhưng quá trình sinh kéo dài gần 20 giây. So sánh độ dài đầu ra, ngữ cảnh, kênh, số yêu cầu đang chạy và nhà cung cấp. Thời gian chờ đầu ra đầu tiên không phát hiện trường hợp này.
Chỉ so sánh trong điều kiện kiểm soát
Ghi lại mô hình và tuyến, phân phối token, chế độ truyền phát, mức suy luận, công cụ, khu vực, đường mạng, mức đồng thời, tham số lấy mẫu, đầu ra tối đa, giai đoạn làm nóng, chính sách thử lại, kích thước mẫu và phương pháp tính phân vị.
So sánh p50, p95 và p99 thay vì một giá trị trung bình. Giữ thời gian chờ và lỗi trong dữ liệu. Câu lệnh, độ dài hoặc mức đồng thời khác nhau không tạo ra bảng xếp hạng tốc độ mô hình hợp lệ.
Lưu siêu dữ liệu, không lưu nội dung
Mã yêu cầu, dấu thời gian, mô hình, nhóm, tham chiếu kênh, trạng thái, số token, trường thời gian, số sự kiện, số yêu cầu đang chạy, khu vực gần đúng và bộ phân loại như upstream_headers_slow thường đã đủ.
Không cần lưu câu lệnh, phản hồi, khóa API hoặc danh tính dạng văn bản rõ. Siêu dữ liệu cũng cần chính sách lưu giữ và kiểm soát truy cập.
Bắt đầu điều tra từ dòng thời gian, dùng Định tuyến AI API đáng tin cậy để so sánh các lần thử và Khắc phục lỗi AI API để nối dữ liệu thời gian với trạng thái cuối. Nhờ đó có thể tách giai đoạn tiếp nhận, khởi động mô hình, suy luận hoặc công cụ, quá trình sinh văn bản hiển thị và chi phí xử lý cục bộ.