AI API 延遲指標:TTFT、首次有效回應與輸出速度

用完整請求時間線區分上游回應標頭、第一個 SSE 事件、首次有效回應、第一段可見文字、總延遲與輸出速度。

AI API 延遲指標:TTFT、首次有效回應與輸出速度

AI API 延遲不是單一數字。對串流請求,應分別記錄上游標頭、第一個非空 SSE 事件、第一個有效內容或動作、第一段可見文字與完整回應的時間。這些里程碑回答不同問題,不應全部稱為 TTFT。

純文字聊天通常以「第一段可見文字」代表使用者感受;推理或工具流程可能先產生函式參數等有效輸出。輸出開始後的生成速度又是另一個測量維度。

先建立請求時間軸

所有閘道層時間戳記應使用同一個單調時鐘與同一起點:

t0  閘道收到請求
t1  閘道開始上游請求
t2  上游回應標頭到達
t3  第一個非空 SSE 事件到達
t4  第一個有效內容或動作到達
t5  第一段可見文字增量到達
t6  上游回應本文完成或關閉
t7  閘道處理程序完成

並非每筆請求都有所有事件。非串流請求沒有 SSE 時間軸;只產生函式呼叫的回應可能沒有可見文字;取消的串流可能沒有正常完成。缺值應保存為不存在,而不是 0。

欄位 測量內容 重要邊界
auth_ms 權杖與使用者驗證時間 本地階段,不是上游時間
distribution_ms 渠道選擇與路由政策 本地階段
body_read_ms 讀取下游請求本文 可發現路由前的慢速上傳
upstream_headers_ms 從上游請求開始到回應標頭 起點是上游請求開始
first_sse_event_ms 從閘道收到請求到第一個非空 SSE 事件 事件可能只有中繼資料
first_response_ms 到第一個有效內容或動作增量 包含文字、推理摘要、函式參數
first_text_delta_ms 到第一段可見文字 沒有文字時不存在
upstream_done_ms 到上游回應本文關閉 關閉不一定代表成功
total_handler_ms 到最後已知的中繼完成點 最接近閘道端到端時間
visible_output_tps 輸出權杖數 / 可見生成時間 使用者輸出診斷,不是系統總 TPS

不要將起點不同的持續時間相減。例如 upstream_headers_ms 從上游請求開始計算,而 first_response_ms 從閘道收到請求時計算。

TTFT 有多種實際含義

NVIDIA NIM 基準測試指南把首個權杖時間定義為送出查詢到第一個有效輸出權杖,通常包含網路、排隊與提示詞預填時間,空白初始回應不應計算。

現代 API 在可見文字前可能先送出回應建立事件、推理摘要、函式參數、自訂工具輸入或心跳訊號。因此儀表板應使用明確名稱:

名稱 建議定義 用途
標頭回應時間 從請求開始到上游標頭 網路與接納階段診斷
首個事件時間 到第一個非空 SSE 事件 僅表示傳輸活性
首個有效回應時間 到可用內容或動作 代理與推理的響應性
首段可見文字時間 到使用者可顯示文字 聊天體感延遲

若圖表只寫 TTFT,必須在旁邊說明實際採用哪一列。

分開衡量響應速度與生成速度

end_to_end_latency = final_response_time - request_start_time
visible_generation_window = final_response_time - first_visible_text_time
visible_output_tps = output_tokens / visible_generation_window_seconds

權杖間延遲通常排除 TTFT,再以剩餘時間除以 output_tokens - 1。不要用 SSE 事件或文字增量數量冒充權杖數;單一事件可含零個或多個權杖,而且權杖邊界會隨權杖切分器而異。

低首段文字延遲配合慢速輸出 TPS,體感是快速開始後變慢;高首段文字延遲配合快速 TPS,則像長時間停頓後迅速完成。單一使用者 TPS 與全系統彙總輸送量也不是同一概念。

推理與工具結果可能早於可見文字

純文字流程中,first_response_ms 與 first_text_delta_ms 可能接近;函式呼叫流程則可能在 1.8 秒收到參數,到 6.4 秒才出現文字。前者代表系統已有可執行動作,後者才代表介面可顯示答案。

  • 終端代理可使用首個有效動作時間;
  • 只顯示文字的聊天介面應使用首段可見文字時間;
  • 工具呼叫 API 可能完全不需要文字;
  • 提早出現的 SSE 外層封裝只證明連線有進展,不代表已有有效輸出。

AI API 串流指南說明 SSE 解析、取消與閒置逾時;解析器必須先辨識外層封裝與有效輸出,才能計算正確延遲。

依固定順序診斷慢速階段

現象 主要指標 優先檢查
標頭前很慢 upstream_headers_ms 網路、供應商接納、排隊、路由、區域
標頭快但有效輸出慢 first_response_ms 與早期階段差值 模型排隊、預填、推理、進行中請求數
首個事件快、有效輸出慢 first_sse_event_ms 到 first_response_ms 中繼資料事件、心跳訊號、推理啟動
動作快、可見文字慢 first_response_ms 到 first_text_delta_ms 工具或推理階段、回應組合
文字快出現但生成慢 visible_output_tps、upstream_done_ms 解碼輸送量、資源爭用、長上下文
上游正常 auth_ms、distribution_ms、body_read_ms 本地驗證、政策選擇、用戶端上傳

單一指標不能證明根本原因。upstream_headers_ms 偏高時,仍需路由、區域、供應商與並行負載證據才能進一步拆解。

閱讀三條合成追蹤紀錄

以下只用於診斷,不代表 Modelflare 或供應商平均值。

追蹤 A:等待上游標頭

指標 數值
upstream_headers_ms 6,100 ms
first_sse_event_ms 6,300 ms
first_response_ms 6,350 ms
first_text_delta_ms 6,400 ms
total_handler_ms 9,200 ms
visible_output_tps 42

大部分時間耗在標頭之前,生成速度正常。應先檢查路由、接納階段、網路、區域與負載,而不是用戶端的畫面渲染。

追蹤 B:有效動作早於可見文字

指標 數值
upstream_headers_ms 240 ms
first_sse_event_ms 310 ms
first_response_ms 2,900 ms
first_text_delta_ms 8,700 ms
total_handler_ms 10,200 ms
visible_output_tps 55

傳輸很快,2.9 秒已有動作,但文字再等 5.8 秒。應檢查推理或工具階段,增加標頭逾時沒有幫助。

追蹤 C:開始快、生成慢

指標 數值
upstream_headers_ms 260 ms
first_sse_event_ms 330 ms
first_response_ms 420 ms
first_text_delta_ms 430 ms
total_handler_ms 20,430 ms
visible_output_tps 9.8

第一段文字很快,但生成近 20 秒。應比較輸出長度、上下文、渠道、進行中請求數與供應商;首段輸出逾時無法偵測這類問題。

只在受控條件下比較延遲

至少固定並記錄:模型與路由、輸入與輸出權杖分布、串流模式、推理強度、工具、區域、網路路徑、並行度、取樣設定、最大輸出、暖機、重試政策、樣本數與百分位數計算方式。

比較 p50、p95 與 p99,不要只放平均值。逾時與錯誤不應被移除,否則不可靠的路由反而可能看起來更快。提示詞、輸出長度、並行度或端點行為不同時,不能把差異簡化成模型速度排名。

保留診斷中繼資料,而不是內容

延遲診斷通常只需請求 ID、時間戳記、模型、分組、渠道參照、狀態、權杖數、時間欄位、事件數、進行中請求數、粗略區域與安全的錯誤分類,例如 upstream_headers_slow 或 generation_slow_tps。

不必保存提示詞、回應、API 金鑰或明文用戶端身分。中繼資料仍可能透露操作行為,因此也要設定保存期限與存取控制。

調查應從完整時間軸開始,再用可靠 AI API 路由比較每次嘗試的路由,並以 AI API 錯誤排查連結最終狀態。這樣才能區分接納階段、模型啟動、推理或工具階段、可見文字生成與本地閘道負擔。