JEV - 系統潤滑劑：控制節點不再生成

Agent 鏈裡大量節點要的是分支，不是一段話。Jev 放在控制節點上，生成只留給真正要寫的那一步。按公開價格估算，控制節點不再購買輸出 token。

JEV - 系統潤滑劑：控制節點不再生成

聯合作者：folkbench.com （Folkbench 是面向 AI API、模型服務及相關站點的可覆核評測與選擇平台，依據已發布的服務資料、價格、可用性、延遲與證據窗口，幫助用戶比較並選擇使用路徑。）

這一組共十篇：

不會聊天，在一條 Agent 鏈裏反而是優點。單個用戶請求常常要走意圖、槽位、檢索、工具和審查。這些節點要的不是一段話，是一個分支。每一步都請一個會寫作的模型，P99 和賬單會一起漲。Jev 放在這些控制節點上，當潤滑劑：判斷交給分佈，句子留給真正要生成的那一步。

摩擦在哪

一次請求不再是一次數據庫讀寫，而是一張有向圖：意圖、路由、壓縮上下文、工具、自我糾正、彙總。瓶頸從 I/O 挪到了大模型調用的延遲和價格上。一條協作鏈裏，10 到 20 次底層調用並不稀奇。六步都掛旗艦模型，尾延遲輕鬆超過十秒。

[user request]
   │
   ▼
1. Intent and route
   │
   ▼
2. Slots and checks
   │
   ▼
3. Retrieval and rerank
   │
   ▼
4. Tool choice (loop)
   │
   ▼
5. The content that must be written
   │
   ▼
6. Review and format
   │
   ▼
[response]

延遲會疊

聊天模型的首包常常就在幾百毫秒，生成再往上加。六步串起來，總等待大約是各步首包加生成時間。每一步只有很小的概率落入尾部，整條鏈的 P99 仍會被拉到十秒以上。SLA 先斷在這裏。

控制節點不該按聊天計價

上面六步裏，真正要展開推理、要把話說完的，往往只佔兩三成。其餘是分類、校驗、狀態切換。用旗艦模型的輸出價去買一次二元判斷，是把控制流當成了創作。

控制層和推理層分開

潤滑劑不是用來替換深度推理的。它替換的是高頻的控制。

  1. 控制層走 Jev。路由、校驗、分類、輕判斷。要的是封閉輸出和能鋪開的併發。
  2. 推理層走會說話的模型。長文、多步計劃、必須對人解釋的那一段。貴和慢可以留在這裏，因爲這一步本來就要生成。
user request
   │
   ▼
[Jev] intent and route
   │
   ├──────────────┐
   ▼              ▼
[Jev] slot check [Jev] intercept
   │              │
   └──────┬───────┘
          ▼
[flagship] only this step generates
          │
          ▼
[Jev] review: out of bounds, or which rung
          │
          ▼
       response

三件工程上的事跟着分開：

  • 控制節點不再逐 token 往外長，延遲落在公開的那一檔裏：端到端大約 70 到 500 毫秒，而不是一次完整生成。
  • 併發不再被“每次都要寫完一段話”卡住。
  • 審查節點收的是分佈，不是一段可能打碎格式的 JSON。非法輸出引起的重試會少一截。

一筆賬

下面的價是假設，用來看結構，不是本站價目，也不是一份賬單。旗艦聊天模型按輸入 2.50 美元 / 百萬 token、輸出 10 美元 / 百萬 token 估算。Jev 用已經公開的數字：輸入 0.042 美元 / 百萬 token，輸出不計費。規模按每天 100 萬次請求。

假設

每次請求五步：

  • 意圖：輸入 300，輸出 50
  • 狀態與裁剪：輸入 1000，輸出 100
  • 工具參數：輸入 800，輸出 150
  • 核心生成：輸入 1500，輸出 800
  • 審查：輸入 1000，輸出 200

兩種接法

  • 方案 A：五步全是旗艦模型。
  • 方案 B：只有核心生成留在旗艦模型。其餘四步換成 Jev。控制步不再爲輸出 token 付費。

成本

方案 A，每天輸入 46 億 token，輸出 13 億 token。輸入 11,500 美元，輸出 13,000 美元，合計 24,500 美元。三十天約 735,000 美元。

方案 B，四步 Jev 的輸入是 31 億 token，按 0.042 美元 / 百萬 token 計算，約 130 美元，輸出爲 0。核心生成仍是輸入 3,750 美元加輸出 8,000 美元，合計 11,750 美元。兩筆加在一起，每天約 11,880 美元，三十天約 356,000 美元。

月支出大約少一半。少掉的那一半，主要是控制節點不再購買輸出 token。

延遲

指標 方案 A 方案 B
四個控制節點 按每次生成約 450 毫秒估算，約 1.8 秒 落在公開的 70–500 毫秒區間裏，四次約 0.28–2 秒
單日 API 成本 24,500 美元 約 11,880 美元
控制節點是否逐 token 生成 是 否

快的一頭，控制開銷明顯低於四次完整生成。慢的一頭，四次 500 毫秒會接近一次長生成，所以不要把“潤滑”說成恆定的幾十毫秒。值錢的是輸出不再按聊天計價，以及判斷可以和生成拆開。

三處接法

先分流

請求進核心推理之前，用 Jev 做一次封閉分類。能用現成回覆或緩存打發的，代碼自己返回。只有落到“需要展開”的那一檔，才叫醒貴的模型。Jev 不負責把那句回覆寫出來。

def handle_incoming_request(user_payload):
    route = jev_client.choice(
        state=user_payload.text,
        options=["FAST_ACK", "SIMPLE_QUERY", "DEEP_REASONING"],
    )
    if route.top == "FAST_ACK":
        return canned_ack(user_payload)
    if route.top == "DEEP_REASONING" and route.probability >= 0.8:
        return call_heavy_llm_pipeline(user_payload)
    return canned_ack(user_payload)

抽取要硬

工具參數不該從一段帶註釋的散文裏解析。讓 Jev 把模糊文本映射到已經列死的字段和枚舉上。下游拿到的是分佈和頂項，不是一次可能失敗的 JSON 解析。

上下文先瘦

幾萬 token 的歷史直接塞進主模型，既貴，也容易丟在中段。中間用封閉題把無關輪次丟掉，只留下關鍵狀態。主模型看到的輸入會短一截。瘦身的標準要寫成題，不要寫成“幫我總結一下”。

系列