関節に脳は要りません

Jev は TypeSafe の System One モデルです。自由なテキストは書かず、閉じた問いごとに確率を返します。ルールでは書き切れず、先にチャットモデルを呼ぶまでもないノードに置きます。

Folkbench folkbench.com

共著者：folkbench.com （Folkbench は、AI API、モデルサービス、関連サイト向けの、検証できる評価・選定プラットフォームです。公開されたサービス情報、価格、可用性、レイテンシ、証拠の期間をもとに、利用者が経路を比較して選べるようにします。）

この一連は、十篇です。

基盤モデルは、あの線を越えました。ほとんどの人は、もうその先にある課題を出せません。思いつく問いは、今のモデルがだいたい受け止めます。少し上手く話す方を比べても、新しい製品は立ちません。違いは、製品の定義へ移りました。Jev は、この段階のために定義されています。

それは TypeSafe AI の System One モデルです。自由なテキストは生成しません。渡すのは一段の状態、テキストかプログラムの状態、それに閉じた問いの組です。各問いは、確率分布になって戻ります。

売っているのはチャットではありません。売っているのは、システムのなかの関節です。

ノードには種類があります。ルールとして書き切れ、それで終わるものがあります。開けて推論し、人に向かって話し切るものもあります。それは脳の仕事です。真ん中に、まだ一群が残ります。ルールでは尽くせません。脳を呼ぶのは無駄です。関節は、その一群の上に座ります。

曲がれば足りる

歩くとき、膝は脳に聞きません。地面が硬ければ、少し曲がります。坂が急なら、踏ん張ります。説明もなく、下書きもありません。

関節に知能は要りません。関節に要るのは本能です。本能は、ルールの上にあります。尽くせるものはルールへ渡します。状態が一致すればその分岐を取り、一致しなければ止まります。ルールを尽くしてもまだ決められず、慣れた人が一目で傾くものは、本能へ渡します。理由を広げ、人に話さなければならないとき、知能を呼びます。一つの問いに、ルールと脳の両方を期待しないでください。

Jev は、その中間の層に留まります。問いは閉じていて、答えの形も閉じています。確率は広がってもかまいません。広がりは、確信がないということです。与えた答えの内側にしか、確率を割り当てません。ふさわしい問いについて、公式の線はきついです。領域を知る人が、文脈を見ながら一秒でできる判断です。長い分析が要るものは、一つの問いとしては属しません。分けてください。

これは、GPT より前の汎用分類器と同じ種類の仕事です。意味の理解は良くなり、速度も上がっています。遠回りな文も読めます。プログラムの状態に挟まった意図も読めます。チャットには連れていかないでください。

公式の位置づけの名前は、System One です。借りているのは Kahneman の System 1 で、速く、直感的です。手順を書き出して人に読ませる、あの遅い思考は、この位置にはありません。

名前は William Stanley Jevons から来ています。石炭と蒸気機関の効率が上がったあと、需要は下がりませんでした。上がりました。公式がこの名前を使うのは、判断が安くなれば、判断を要するシステムのノードも一緒に増える、と言うためです。

問いは、この三つだけ

問いの型は、三つだけです。

真偽です。名前は Noul です。真か偽かで閉じられる一文です。戻るのは「はい」の確率で、0 から 1 です。コードがその数にしきい値をかけます。線を越えれば、実行します。届かなければ、止まります。あるいは、その件を人へ渡します。

単一選択です。名前は Choice です。選択肢は事前に固定され、最大 255 です。各選択肢のあとに、それが何を意味するかを一文付けられます。戻るのは分布の全体と、確率が最も高い選択肢です。リストにないものは、足しません。

順序のある段階です。名前は Score です。2 から 10 段階です。低い方から高い方へ並べ、各段階を具体的な状況として書きます。数字だけを渡さないでください。着地点は二段階のあいだに置かれることがあり、各段階の確率は残ります。業務が整数を必要とするなら、コードがそれを集めます。

三つとも、同じリクエストで問えます。同じ状態で、問いはそれぞれ独立です。真偽が、単一選択の下書きをすることはありません。どの問いを使い、どれを捨てるかは、コードが決めます。問いを足しても、時間はほとんど増えません。増えるのは、その問い自身のトークンです。入力はトークンで課金されます。余分な費用は、その小さな一片です。

サンプリングは、チャットの種類ではありません。公式の説明は、新しいアーキテクチャ、並列サンプリングです。一回の通過で、すべての出力を集めます。トークンごとではありません。チャットモデルが遅いのは、一つの語が次の語を待ち、その途中で出力が高くなるからです。Jev は、一語ずつ育ちません。

訓練法は RLCD、Reinforcement Learning for Calibrated Decisions と呼ばれます。目標はキャリブレーションです。報告する確信度は、実際に正しい頻度と揃わなければなりません。「人のように読める」ことは、目標ではありません。

入力は、100万トークンあたり $0.042 です。出力は無料です。端から端まで、およそ 70ms から 500ms です。七十ミリ秒も起きます。五百ミリ秒も起きます。公式の、知能についての判断は、それと並べて述べられています。System One の課題では、現行の大規模モデルとほぼ同じで、一桁から二桁速い、と。その「ほぼ同じ」は、閉じた判断にだけ当てはまります。記事を書かせること、あるいは閉じていない問いを最後まで話すことは、その主張の内側にはありません。

ルールが切れたところ

この形のノードは、珍しくありません。分類、振り分け、採点、審査、リスク管理、それに Agent のなかの判断ノード。どれもこの形です。チケットがどのキューに入るか。次のホップが、どのコードを取るか。苦情がどれほど熱いか。一文を通してよいか。操作が、止めるべき例外に見えるか。分岐点のツールを渡すか。これらはどれも速く問え、どれも閉じられます。

ルールは、書きやすい区間を食べられます。例外が積み上がると、条件は絡みます。一つ変えると、隣も一緒に壊れるかもしれず、あとから誰も触れなくなります。

状態の全体を、チャットできるモデルへ投げ、助言の一文を求める人もいます。チャットモデルには、できます。ノードが要るのは、傾きだけです。それでも文を分岐へ解析し、失敗したらやり直しです。時間は、テキストの形に使われます。

脳は、許されます。このノードは、最初に脳を受ける資格がありません。Jev が受け取るのは、この区間です。閉じた問いが入ると、分布が出ます。線を越えるか、上げるかは、隣のコードに書かれます。流れがどう動くかは、なおコードの仕事です。

返金は、三つの問いに分かれます。返金を求めているか。求めているのが返金か、切符の変更か、規則についての質問だけか。そして怒りが、どの段階に着地するか。Noul、Choice、Score が、同じ状態を見ます。方針に書かれた文は、ルールに残します。ルールが一致しないものは、分布から読みます。顧客への返信を書くのは、その仕事ではありません。

Agent も、同じように分かれます。人が最後に読む文は、話せるモデルに残します。途中の判断で、一歩ごとに脳を起こすべきではありません。一度起こせば、その一歩はチャットの費用で走ります。判断を関節に換えれば、外へ出る返信はそのままでいられます。

文章には、別のモデルが要る

記事は書けません。テキストを生成しません。題と調子を状態へ入れても、書いた閉じた問いにしか答えません。話題から外れているかは、判断できます。文は、別のモデルから来なければなりません。

開いた問いを、単一選択へ押し込まないでください。「次に何をすべきか」は、やり方を列挙し終えるまで、Choice にマスがありません。先に分けてください。尽くせるものは、ルールに残します。本能が答えられるものは、この三つの問いとして書きます。推論を広げ、人に、言葉が終わるまで話す必要があるもの。それが、知能の入るときです。分けられなければ、まだ関節ではありません。

System One を、格下げだと聞く人もいます。より低いのは、ルールです。System One は、ルールの上の本能です。速く、説明は書きません。意味は、理解しなければなりません。さもなければ、ルールで足ります。その上が、知能です。公式が与える知能は、閉じた課題で「ほぼ同じ」です。与える速度は、一桁から二桁速い、です。その速度があれば、呼び出しはチャットの終わりを待たず、ループの内側に置けます。

基盤モデルが、ほとんどの人が出せる課題を平らにしたあと、製品は決まったインターフェースへ閉じなければなりません。Jev は、関節へ閉じます。チャットは、売り物ではありません。ルールを書き切れず、脳を呼ぶのが無駄なノード。そこが、その場所です。

出典

シリーズ