JEV - 制御ノードの潤滑剤

共著者：folkbench.com （Folkbench は、AI API、モデルサービス、関連サイト向けの、検証できる評価・選定プラットフォームです。公開されたサービス情報、価格、可用性、レイテンシ、証拠の期間をもとに、利用者が経路を比較して選べるようにします。）

この一連は、十篇です。

• JEV - 関節に脳は要りません
• JEV - 制御ノードの潤滑剤
• JEV - BERT から、一枚の分布へ
• JEV - 呪文ではなく、閉じた問いを設計する
• JEV - 反トークンの台帳は、これを先に出さない
• JEV - 返るのは分布だけ、二つの demo
• JEV - ループを出る：確信度をコードに書く
• JEV - 線を越えたあと、より賢さは売りにならない
• JEV - 直感と理性：関節に問わない言葉
• JEV - 画面操作から、確率だけへ

チャットできないことは、Agent の鎖の中では利点になる。一つの利用者要求は、意図、スロット、検索、道具、検査を通ることが多い。それらのノードが欲しいのは段落ではない。分岐だ。書くモデルを一歩ごとに雇うと、P99 と請求はいっしょに上がる。Jev は制御ノードに潤滑剤として座る。判断は分布であり、文は本当に生成しなければならない一歩に残す。

摩擦はどこにあるか

要求は、もはやデータベースの一回の読みではない。有向グラフだ。意図、経路、文脈の圧縮、道具、自己修正、要約。ボトルネックは入出力から、大規模モデル呼び出しの遅延と価格へ移る。一つの協働の鎖で下層の呼び出しが 10 から 20 回あるのは普通だ。6 歩すべてに旗艦モデルを掛けると、裾の遅延はたやすく 10 秒を超える。

[user request]
   │
   ▼
1. Intent and route
   │
   ▼
2. Slots and checks
   │
   ▼
3. Retrieval and rerank
   │
   ▼
4. Tool choice (loop)
   │
   ▼
5. The content that must be written
   │
   ▼
6. Review and format
   │
   ▼
[response]

遅延は積み重なる

チャットモデルの最初の token は、しばしばすでに数百ミリ秒であり、生成がさらに乗る。直列の 6 歩は、各歩の最初の token と各歩の生成を待つ。一歩ごとの裾への小さな確率だけで、鎖全体の P99 は 10 秒を超えて引かれる。SLA はまずそこで切れる。

制御ノードをチャットの値段で買わない

この 6 歩のうち、開いて推論し、文を書き終えなければならないものは、しばしば 2 割か 3 割にすぎない。残りは分類、検査、状態の切り替えだ。はい/いいえの判断に旗艦モデルの出力価格を払うのは、制御の流れを作文として扱うことになる。

制御と推論を分ける

潤滑剤は深い推論の代わりではない。置き換えるのは頻度の高い制御だ。

1. 制御面は Jev を使う。経路、検査、分類、軽い判断。必要なのは閉じた出力と、広げられる並行性だ。
2. 推論面は話せるモデルを使う。長いテキスト、多段の計画、人に説明しなければならない区間。費用と遅さはそこに残してよい。その一歩は、もともと生成するはずだったからだ。

user request
   │
   ▼
[Jev] intent and route
   │
   ├──────────────┐
   ▼              ▼
[Jev] slot check [Jev] intercept
   │              │
   └──────┬───────┘
          ▼
[flagship] only this step generates
          │
          ▼
[Jev] review: out of bounds, or which rung
          │
          ▼
       response

工学上の帰結が三つ続く。

• 制御ノードはもう token を一つずつ伸ばさない。遅延は公開された帯に収まる。端から端までおよそ 70 から 500 ミリ秒であり、一回の完全な生成ではない。
• 並行性は「先に段落を書き終える」の後ろで詰まらなくなる。
• 検査ノードが受け取るのは分布であり、壊れるかもしれない JSON の文字列ではない。再試行の嵐の源が一つ小さくなる。

一筆の勘定

下の価格は形を見るための仮定だ。このサイトの価格表ではなく、請求書でもない。旗艦のチャットモデルは、入力百万 token あたり $2.50、出力百万 token あたり $10 と見積もる。Jev は公開された数字を使う。入力百万 token あたり $0.042、出力は課金しない。規模は 1 日 100 万要求だ。

仮定

要求ごとに 5 歩。

• 意図：入力 300、出力 50
• 状態と刈り込み：入力 1000、出力 100
• 道具の引数：入力 800、出力 150
• 中核の生成：入力 1500、出力 800
• 検査：入力 1000、出力 200

二通りのつなぎ方

• 案 A：5 歩すべてが旗艦モデル。
• 案 B：中核の生成だけが旗艦に残る。ほかの 4 歩は Jev へ移る。制御の歩は出力 token に払わない。

費用

案 A は 1 日に入力 token 4.6 十億、出力 token 1.3 十億を動かす。入力は $11,500、出力は $13,000、合わせて $24,500。30 日でおよそ $735,000。

案 B は 4 つの Jev の歩へ入力 token 3.1 十億を送る。百万 token あたり $0.042 ならおよそ $130 で、出力の料金は 0 だ。中核の生成はなお入力 $3,750 に出力 $8,000、$11,750。合わせて 1 日およそ $11,880、30 日でおよそ $356,000。

月の支出はおよそ半分下がる。下がるのは主に、制御ノードがもう買わない出力 token だ。

遅延

測るもの	案 A	案 B
四つの制御ノード	各生成およそ 450 ms、およそ 1.8 s	公開された 70–500 ms の帯の中、四回でおよそ 0.28–2 s
1 日の API 費用	$24,500	およそ $11,880
制御ノードが token を一つずつ生成するか	はい	いいえ

速い端では、制御のオーバーヘッドは 4 回の完全な生成を明らかに下回る。遅い端では、500 ms の呼び出し 4 回が長い生成一つに近づきうる。だから潤滑を、保証された数十ミリ秒だと言うな。分割が買うものは、出力がもうチャットの値段で計られないこと、そして判断を生成から分けられることだ。

置く場所は三箇所

先に振り分ける

要求が中核の推論に入る前に、Jev へ閉じた分類を一つ聞く。用意した返答かキャッシュで答えられるなら、コードがそれを返す。「これは展開しなければならない」を意味する段だけが、高いモデルを起こす。Jev はその返答を書かない。

def handle_incoming_request(user_payload):
    route = jev_client.choice(
        state=user_payload.text,
        options=["FAST_ACK", "SIMPLE_QUERY", "DEEP_REASONING"],
    )
    if route.top == "FAST_ACK":
        return canned_ack(user_payload)
    if route.top == "DEEP_REASONING" and route.probability >= 0.8:
        return call_heavy_llm_pipeline(user_payload)
    return canned_ack(user_payload)

抽出は硬く

道具の引数を、注釈の入った段落から解析してはならない。曖昧なテキストを、あらかじめ列挙したフィールドと列挙へ Jev に写させよ。下流が受け取るのは分布と最上位の選択肢であり、失敗しうる JSON の解析ではない。

文脈を先に痩せる

数万 token の履歴を主モデルへまっすぐ押し込むと、高く、中ほどで失いやすい。あいだに閉じた問いを置くと、関係のないターンを落とし、必要な状態を残す。主モデルが見る入力は短くなる。何を落とすかの規則は問いでなければならず、「これを要約して」ではない。

シリーズ

• 前：JEV - 関節に脳は要りません
• 次：JEV - BERT から、一枚の分布へ