JEV - 從 BERT 到 Jev：分類回到一張分佈

「不能幻覺」只覆蓋封閉題：答案出不了事先定死的集合，集合裡仍可能分錯。Jev 留著這一代模型的語義，把輸出收回一次前向和一張分佈。

JEV - 從 BERT 到 Jev：分類回到一張分佈

聯合作者：folkbench.com （Folkbench 是面向 AI API、模型服務及相關站點的可覆核評測與選擇平台，依據已發布的服務資料、價格、可用性、延遲與證據窗口，幫助用戶比較並選擇使用路徑。）

這一組共十篇：

“不能幻覺”不是一句廣告。它只覆蓋封閉題的那一層：答案必須落在你事先給死的集合裡。集合外面的標籤，它補不出來。集合裡面它仍然可以分錯。這一篇把這層邊界放回分類任務的歷史裡看。Jev 像是前 GPT 時代的通用分類器回來了，語義是這一代模型的，輸出形狀卻回到了一次前向、一張分佈。

分類器時代付出過什麼

2018 到 2021 年，很多 NLP 工程師的日子被“分類”填滿：意圖、派單、情感、領域標籤。BERT、RoBERTa、XLNet 是當時的工具。雙向編碼器把 LSTM 和 SVM 甩在後面，也帶來三筆工程債。

  1. 標註很餓。預訓練之後，金融意圖這種任務仍要成千上萬條乾淨樣本。多一個細分標籤，清洗、眾包和增強再走一遍。
  2. 沒見過的說法會掉下去。那一代分類器擬合的是決策邊界，不是“這個標籤是什麼意思”。
  3. 每個任務一份權重。幾十個分類需求就是幾十個實例，版本、顯存和發佈都堆在一起。

當時缺的是：懂這句話在說什麼，又能按臨時給的定義把概率交出來，而且不用為每個標籤再訓一個頭。

生成式模型的過度殺傷

GPT 這一路用解碼器把分類看起來“解決”了。寫一句“判斷情感，按 JSON 返回”，零樣本往往就能給出類別。生產裡很快露出另一面。

  • 格式仍然是概率接龍。為了拿到一個標籤，得要求它寫出合法 JSON 或 XML。再強的生成模型也有很小的概率多寫一句，解析器就斷。
  • 代價和長度綁在一起。一個幾個字符的標籤，前面是一長段提示詞，後面是逐 token 的解碼。實時風控和在線路由裡，這是用高炮打蚊子。

我們有了很強的語義理解，卻給它接了一根又慢又脆的輸出管，只為了拿一個類別。“不能幻覺”如果指的是這根管子，生成式模型並沒有把它拆掉。它只是更會把幻覺寫得像一句話。

一次前向，一張分佈

Jev 站在兩頭之間：要這一代模型的語義和少樣本，不要文本生成，回到分類器的輸出形狀。

從擬合特徵到對齊語義

舊分類器在向量空間裡切流形，標籤一變就要重新擬合。Jev 把待分類的 state 和標籤的自然語言定義放在一起看。你寫清這一檔是什麼意思，它就在這一檔上給概率，不必為新標籤再做一次梯度更新。理解力是生成式時代的。輸出不是。

不再逐 token 生成

生成慢，是因為每個 token 都要再跑一次前向。Jev 不寫 {"category": "A"} 這串字符。一次前向裡，它把概率分到候選上。格式漂移那一類故障因此消失：沒有字符串，就沒有字符串碎掉。

這就是“不能幻覺”真正說到的那一層。它不能發明列表外的選項，也不能在答案後面再附一段解釋。它仍然能在列表內部把概率給錯。校準解決的是“它報的把握和實際命中是否同向”，不是“它永遠分對”。

工程上少維護什麼

維度 BERT 時代 生成式模型 Jev
數據 大量標註後再微調 少樣本，靠提示詞 少樣本，靠標籤的自然語言定義
輸出 分類頭，格式固定 會生成，格式可能碎 分佈，沒有格式可碎
速度 毫秒級的編碼器 隨生成長度變長 公開端到端大約 70–500 毫秒，不隨答案句子變長
語義 容易被表面詞帶跑 深 深，但只許落在給定標籤上
運維 一個任務一個權重 提示詞和解析器 一個模型，標籤定義隨請求變

舊任務沒有過時

回到文本分類，手感會很熟，底層已經不是當年那把鈍器。

  • 不必為五百條標錯的樣本再訓一輪。
  • 不必為異形 JSON 寫一圈 try-catch。
  • 傳入 state，寫清每個選項的意思，拿回一張分佈。

從 BERT 到生成式模型，再到這種結構化輸出，經典任務沒有退場。退場的是“為了拿一個標籤，必須先寫一段話”。不能幻覺，說到這一層就停。再往上，分錯、題沒拆開、不該問它的開放題，都還在。那些不由這句口號擔保。

系列