JEV - 系统润滑剂：控制节点不再生成

Agent 链里大量节点要的是分支，不是一段话。Jev 放在控制节点上，生成只留给真正要写的那一步。按公开价格估算，控制节点不再购买输出 token。

JEV - 系统润滑剂：控制节点不再生成

联合作者：folkbench.com （Folkbench 是面向 AI API、模型服务及相关站点的可复核评测与选择平台，依据已发布的服务资料、价格、可用性、延迟与证据窗口，帮助用户比较并选择使用路径。）

这一组共十篇：

不会聊天，在一条 Agent 链里反而是优点。单个用户请求常常要走意图、槽位、检索、工具和审查。这些节点要的不是一段话，是一个分支。每一步都请一个会写作的模型，P99 和账单会一起涨。Jev 放在这些控制节点上，当润滑剂：判断交给分布，句子留给真正要生成的那一步。

摩擦在哪

一次请求不再是一次数据库读写，而是一张有向图：意图、路由、压缩上下文、工具、自我纠正、汇总。瓶颈从 I/O 挪到了大模型调用的延迟和价格上。一条协作链里，10 到 20 次底层调用并不稀奇。六步都挂旗舰模型，尾延迟轻松超过十秒。

[用户请求]
   │
   ▼
1. 意图与路由
   │
   ▼
2. 槽位与校验
   │
   ▼
3. 检索与重排
   │
   ▼
4. 工具选择（循环）
   │
   ▼
5. 真正要生成的内容
   │
   ▼
6. 审查与格式
   │
   ▼
[响应]

延迟会叠

聊天模型的首包常常就在几百毫秒，生成再往上加。六步串起来，总等待大约是各步首包加生成时间。每一步只有很小的概率落入尾部，整条链的 P99 仍会被拉到十秒以上。SLA 先断在这里。

控制节点不该按聊天计价

上面六步里，真正要展开推理、要把话说完的，往往只占两三成。其余是分类、校验、状态切换。用旗舰模型的输出价去买一次二元判断，是把控制流当成了创作。

控制层和推理层分开

润滑剂不是用来替换深度推理的。它替换的是高频的控制。

  1. 控制层走 Jev。路由、校验、分类、轻判断。要的是封闭输出和能铺开的并发。
  2. 推理层走会说话的模型。长文、多步计划、必须对人解释的那一段。贵和慢可以留在这里，因为这一步本来就要生成。
用户请求
   │
   ▼
[Jev] 意图与路由
   │
   ├──────────────┐
   ▼              ▼
[Jev] 槽位校验   [Jev] 拦截
   │              │
   └──────┬───────┘
          ▼
[旗舰模型] 只有这一步生成
          │
          ▼
[Jev] 审查：是否越界、落在哪一档
          │
          ▼
        响应

三件工程上的事跟着分开：

  • 控制节点不再逐 token 往外长，延迟落在公开的那一档里：端到端大约 70 到 500 毫秒，而不是一次完整生成。
  • 并发不再被“每次都要写完一段话”卡住。
  • 审查节点收的是分布，不是一段可能打碎格式的 JSON。非法输出引起的重试会少一截。

一笔账

下面的价是假设，用来看结构，不是本站价目，也不是一份账单。旗舰聊天模型按输入 2.50 美元 / 百万 token、输出 10 美元 / 百万 token 估算。Jev 用已经公开的数字：输入 0.042 美元 / 百万 token，输出不计费。规模按每天 100 万次请求。

假设

每次请求五步：

  • 意图：输入 300，输出 50
  • 状态与裁剪：输入 1000，输出 100
  • 工具参数：输入 800，输出 150
  • 核心生成：输入 1500，输出 800
  • 审查：输入 1000，输出 200

两种接法

  • 方案 A：五步全是旗舰模型。
  • 方案 B：只有核心生成留在旗舰模型。其余四步换成 Jev。控制步不再为输出 token 付费。

成本

方案 A，每天输入 46 亿 token，输出 13 亿 token。输入 11,500 美元，输出 13,000 美元，合计 24,500 美元。三十天约 735,000 美元。

方案 B，四步 Jev 的输入是 31 亿 token，按 0.042 美元 / 百万 token 计算，约 130 美元，输出为 0。核心生成仍是输入 3,750 美元加输出 8,000 美元，合计 11,750 美元。两笔加在一起，每天约 11,880 美元，三十天约 356,000 美元。

月支出大约少一半。少掉的那一半，主要是控制节点不再购买输出 token。

延迟

指标 方案 A 方案 B
四个控制节点 按每次生成约 450 毫秒估算，约 1.8 秒 落在公开的 70–500 毫秒区间里，四次约 0.28–2 秒
单日 API 成本 24,500 美元 约 11,880 美元
控制节点是否逐 token 生成 是 否

快的一头，控制开销明显低于四次完整生成。慢的一头，四次 500 毫秒会接近一次长生成，所以不要把“润滑”说成恒定的几十毫秒。值钱的是输出不再按聊天计价，以及判断可以和生成拆开。

三处接法

先分流

请求进核心推理之前，用 Jev 做一次封闭分类。能用现成回复或缓存打发的，代码自己返回。只有落到“需要展开”的那一档，才叫醒贵的模型。Jev 不负责把那句回复写出来。

def handle_incoming_request(user_payload):
    route = jev_client.choice(
        state=user_payload.text,
        options=["FAST_ACK", "SIMPLE_QUERY", "DEEP_REASONING"],
    )
    if route.top == "FAST_ACK":
        return canned_ack(user_payload)
    if route.top == "DEEP_REASONING" and route.probability >= 0.8:
        return call_heavy_llm_pipeline(user_payload)
    return canned_ack(user_payload)

抽取要硬

工具参数不该从一段带注释的散文里解析。让 Jev 把模糊文本映射到已经列死的字段和枚举上。下游拿到的是分布和顶项，不是一次可能失败的 JSON 解析。

上下文先瘦

几万 token 的历史直接塞进主模型，既贵，也容易丢在中段。中间用封闭题把无关轮次丢掉，只留下关键状态。主模型看到的输入会短一截。瘦身的标准要写成题，不要写成“帮我总结一下”。

系列