2026-09-22

JEV - BERT から、一枚の分布へ

「ハルシネーションできない」が覆うのは閉じた問いだけです。答えは定めた集合から出られず、集合の中ではまだ誤り得ます。Jev はこの世代の意味を残し、出力を一回の前向き計算と一つの分布に戻します。

共著者：folkbench.com （Folkbench は、AI API、モデルサービス、関連サイト向けの、検証できる評価・選定プラットフォームです。公開されたサービス情報、価格、可用性、レイテンシ、証拠の期間をもとに、利用者が経路を比較して選べるようにします。）

この一連は、十篇です。

「ハルシネーションできない」はスローガンではありません。覆うのは一つの層です。答えは、あらかじめ固定した集合の中に着地しなければなりません。その集合の外のラベルは発明できません。集合の中では、確率はまだ誤り得ます。この文章は、その境界を分類の歴史へ戻します。Jev は GPT 以前の年月の汎用分類器に似ています。意味は今の世代のもので、出力は一回の前向き計算と一つの分布へ戻っています。

分類器の年月が払ったもの

2018 年から 2021 年まで、NLP の仕事の多くは分類でした。意図、振り分け、感情、領域ラベルです。BERT、RoBERTa、XLNet が道具でした。双方向の符号化器は LSTM と SVM を後ろに残し、三つの工学上の負債を連れてきました。

ラベルは飢えていました。事前学習のあとでも、金融の意図のようなタスクは、きれいな例を何千もまだ欲しがりました。細かいラベルが一つ増えると、洗浄、集団注釈、増強がもう一周です。
見たことのない言い回しは落ちました。あの分類器が合わせていたのは決定境界であり、「このラベルは何を意味するか」ではありません。
タスクごとに一組の重み。分類の必要が何十もあれば、インスタンスも何十になり、版、メモリ、リリースが一緒に積み上がりました。

足りなかったのは、文が何を言っているかを分かり、今書いた定義に対する確率を返せて、ラベルごとに新しいヘッドを学習しなくてよいものでした。

生成モデルの過ぎた火力

GPT の系譜は、分類が解けたように見せました。「感情を判定して JSON を返せ」という一文で、例なしのモデルはしばしばクラスを名付けます。本番はもう一つの顔を見せました。

形式は、まだ確率の連なりです。ラベルを得るために、正しい JSON か XML を書かせます。強い生成モデルでも、一文を余計に書く小さな確率が残り、解析器は切れます。
費用は長さに縛られています。数文字のラベルの前には長い指示があり、後ろには token ごとの復号があります。ライブのリスク検査とオンラインの振り分けでは、これは蚊に攻城砲を向けることです。

強い意味理解を得てから、クラスを一つ取るためだけに、遅くて脆い出力管を繋ぎました。「ハルシネーションできない」がその管を指すなら、生成モデルは管を外していません。ハルシネーションを、文らしく書くのがうまくなっただけです。

一回の前向き計算、一つの分布

Jev は両者の間に立ちます。この世代の意味と少数例の振る舞いが欲しく、テキスト生成は欲しくなく、分類器の出力の形へ戻ります。

特徴の適合から意味の整合へ

古い分類器は、ベクトル空間の多様体を切っていました。ラベルが変われば、また合わせ直します。Jev は、分類する状態と、各ラベルの自然言語の定義を一緒に読みます。この段が何を意味するかを書けば、その段に確率を置き、新しいラベルのための勾配更新は要りません。理解は生成の時代のものです。出力は違います。

もう token を一つずつ生成しない

生成が遅いのは、token ごとに前向き計算がもう一回要るからです。Jev は {"category": "A"} の文字を書きません。一回の前向き計算で、確率を候補へ分けます。形式の漂流は、故障の一種として消えます。文字列がなければ、壊れる文字列もありません。

これが、「ハルシネーションできない」が実際に名指す層です。リスト外の選択肢は発明できず、答えの後ろに説明を足すこともできません。リストの内部で確率を間違って割り当てることは、まだできます。較正が問うのは、申告した確信が、当たる頻度と同じ向きに動くかです。クラスが必ず正しいとは約束しません。

運用がもう抱えないもの

観点	BERT の年月	生成モデル	Jev
データ	大きなラベル付き集合での微調整	少数例、指示による	少数例、ラベルの自然言語の定義による
出力	分類ヘッド、形式は固定	生成し、形式は壊れ得る	分布であり、壊れる形式がない
速度	符号化器、ミリ秒	生成の長さとともに伸びる	公開された端から端までがおよそ 70–500 ms で、答えの文とともに伸びない
意味	表面の語に引かれやすい	深い	深いが、与えたラベルの上にだけ落ちる
運用	タスクごとに一組の重み	指示と解析器	一つのモデル。ラベル定義はリクエストとともに変わる

古い課題は古びていない

テキスト分類へ戻ると、手触りは見慣れたものです。下の道具は、もうあの鈍器ではありません。

500 件のラベルが間違っていたからといって、もう一周学習しません。
形の崩れた JSON を try-catch で包みません。
状態を渡し、各選択肢の意味を書き、分布を受け取ります。

BERT から生成モデルへ、そしてこの構造化された出力へ。古典的な課題は退場していません。退場したのは、「ラベルを一つ取るために、まず一段落を書く」ことです。「ハルシネーションできない」は、この層で止まります。その上には、間違ったクラス、分割されていない問い、聞くべきでなかった開いた問いが、まだ残っています。スローガンはそれらを覆いません。