関節に脳は要りません

共著者：folkbench.com （Folkbench は、AI API、モデルサービス、関連サイト向けの、検証できる評価・選定プラットフォームです。公開されたサービス情報、価格、可用性、レイテンシ、証拠の期間をもとに、利用者が経路を比較して選べるようにします。）

この一連は、十篇です。

• JEV - 関節に脳は要りません
• JEV - 制御ノードの潤滑剤
• JEV - BERT から、一枚の分布へ
• JEV - 呪文ではなく、閉じた問いを設計する
• JEV - 反トークンの台帳は、これを先に出さない
• JEV - 返るのは分布だけ、二つの demo
• JEV - ループを出る：確信度をコードに書く
• JEV - 線を越えたあと、より賢さは売りにならない
• JEV - 直感と理性：関節に問わない言葉
• JEV - 画面操作から、確率だけへ

犬が鈴を聞いたら唾液を出すべきかを決めるために、国立図書館ひとつ分の計算を使う。今の多くのノードは、その形をしている。仕事は二方向の切り分けだ。この文は中国語の請求書の解析へ進むのか、英語の領収書の解析へ進むのか。人前で推論したがるモデルを掛けると、数百 token の論争を書いてから、ラベルを一つ出す。時間はテキストに消える。金もテキストに消える。

生物はすでに答えを出している。一歩ごとに皮質が計算を終えるのを待っていたら、草原は渡れない。膝は地面に当たって、曲がる。

関節に脳は要らない。関節に要るのは反射だ。

Jev はその場所のために切ってある。自由なテキストは生成しない。閉じた問いが入る。分布が出る。

テキストに引きずられる判断

今の大規模モデルが本番で遅く、高いのは、思考と発話を同じ自然言語のループでやるよう求められているからだ。欲しかったのは、はい、分布、あるいは一つの段である。届く経路はこうだ。token が入り、隠れた計算があり、token を一つずつ復号し、最後に正規表現が文の中から答えを拾う。

空白も読点も請求に載る。自己回帰の復号はきれいに並列化できない。モデルに「JSON を出して、説明はするな」とさせるには、指示にもう一塊の拘束を足す。一歩ごとに「いま左足を出している」と書いてから歩くようなものだ。

本番システムの小さなループの多くは、その段落を必要としない。散文は人のためにある。機械が欲しいのは確率だ。

話さない反射

Jev は設計のうえで口を持たない。状態の一片が入る。token のループは開かない。すでに列挙した閉じた答えの上へ確率を割り当てる。問いの型は三つで、後の文章が使うものと同じだ。名前を変えるな。

• はい／いいえ、Noul。戻るのは「はい」の確率で、0 から 1 に落ちる。空の値ではなく、拒否の信号でもない。
• 単一選択、Choice。選択肢は事前に固定し、最大 255 だ。リストにない選択肢は作らない。
• 順序のある段、Score。2 から 10 段で、各段は具体的な場合として書く。

これは膝蓋反射だ。槌が靱帯を打つ。信号が皮質に届く前に、下腿は動く。説明は要らない。要るのは閉じた結果と、ループの中に置ける速度だ。

公開されている端から端までは、およそ 70 から 500 ミリ秒だ。入力は百万 token あたり $0.042。出力は課金しない。速い端も遅い端も、この幅の中にある。数ミリ秒だと言うな。チャットの一ターンだとも言うな。閉じた System One の判断では、能力は現行の大規模モデルと同じ帯にあり、速度は 1 桁か 2 桁高い。「同じ帯」は閉じた判断にだけ当てはまる。

チャットできるモデルは司令部に座り、なぜこの作戦があるのかを説明する。Jev は指先と膝にいる。何かが頭へ飛んでくれば、頭が先に動く。

二層ではなく三層

いつもの切り方は二層だった。if と書けるものはコードに残し、曖昧なものはすべてチャットモデルへ投げた。曖昧なノードは、費用と待ちをいっしょに背負った。この製品に合う切り方は三層だ。

       ┌────────────────────────────────────────┐
       │             3. Intelligence             │
       │  open reasoning, prose, talking to a    │
       │  person                                  │
       └───────────────────▲────────────────────┘
                           │ this question will not split; go up
       ┌───────────────────┴────────────────────┐
       │             2. Reflex (Jev)             │
       │  closed questions, fixed options,        │
       │  a distribution or a score               │
       └───────────────────▲────────────────────┘
                           │ the rule missed; hand it to reflex
       ┌───────────────────┴────────────────────┐
       │             1. Rules                    │
       │  branches whose edges are already        │
       │  written                                 │
       └────────────────────────────────────────┘

規則の層

骨だ。正規表現、構文木、端がすでに書かれた算法。CPU の命令。当たれば当たりだ。

反射の層

筋肉と関節だ。語調のわずかなずれ、意図がどの待ち行列に入るか、この文を通してよいか、文脈がまだ同じ事柄か。規則ではリストを書き切れないが、慣れた人は一目で一方へ傾く。こうしたノードは、もう先に脳を起こさない。Jev は説明を書かない。確率を一つ返すか、分布を一枚返す。軽いから、ループの中に住める。

知能の層

皮質だ。データがここへ上がるのは、閉じた問いが散ったままで、人がまだ理由を聞かなければならないときだけだ。思考の連鎖、長い返答、多段の計画は、この層に残る。顧客への手紙は、関節の仕事ではない。

三層は、大規模モデルをシステムから外さない。すべてのねじを回すのに、それを使うのをやめる。

良い道具は退く

槌が手に合えば、注意は釘にある。槌は腕の延長だ。重すぎる、熱すぎる、あるいは打つたびに一節歌うなら、道具ではなく障害になる。

ここ数年のチャットモデルは、目立ちすぎた。個性が強く、言葉が多く、拍が遅い。歯車列に嵌めると、噛み合うたびに粘る摩擦が付く。

Jev はもう一方の極だ。より狭く、より速く、より安く、そして読まれることを要求しない。一方の極は、なお非常に大きいモデルで、データセンターの中で高い思考をする。もう一方の極は、関節のように、プロトコル、待ち行列、センサーのそばへ散る。それらは自分を説明しない。収縮と弛緩を終える。

このシステムを支えてきたのは、考えなくてよい関節だ。

シリーズ

• 次：JEV - 制御ノードの潤滑剤