JEV - De BERT à une seule distribution
« Ne peut pas halluciner » ne couvre que la question fermée : la réponse ne peut pas quitter l'ensemble fixé d'avance, et à l'intérieur elle peut encore être fausse. Jev garde la sémantique de cette génération et rend une passe avant et une distribution.
Co-auteur : folkbench.com (Folkbench est une plateforme vérifiable d’évaluation et de sélection pour les API d’IA, les services de modèles et les sites associés. Elle s’appuie sur les informations publiées sur le service, les prix, la disponibilité, la latence et les fenêtres de preuve pour aider les utilisateurs à comparer des voies et à en choisir une.)
Dix textes dans cette série :
- JEV - Une articulation n'a pas besoin d'un cerveau
- JEV - Le lubrifiant sur les nœuds de contrôle
- JEV - De BERT à une seule distribution
- JEV - Concevoir la question fermée, pas la formule
- JEV - Le grand livre anti-token ne le sort pas d'abord
- JEV - Deux démos qui ne rendent qu'une distribution
- JEV - Sortir de la boucle : la confiance entre dans le code
- JEV - Passée la ligne, plus intelligent n'est plus le produit
- JEV - Intuition et raison : des questions qui ne lui reviennent pas
- JEV - De l'écran à une probabilité nue
« Ne peut pas halluciner » n'est pas un slogan. Cela couvre une seule couche : la réponse doit tomber dans l'ensemble que vous avez fixé d'avance. Une étiquette hors de cet ensemble ne peut pas être inventée. Dans l'ensemble, la probabilité peut encore être fausse. Cet essai remet cette limite dans l'histoire de la classification. Jev ressemble au classifieur général des années d'avant GPT, avec la sémantique de cette génération et avec une sortie revenue à une passe avant et une distribution.
Ce qu'ont coûté les années du classifieur
De 2018 à 2021, beaucoup de travail en NLP était de la classification : intention, routage, sentiment, étiquettes de domaine. BERT, RoBERTa et XLNet étaient les outils. Les encodeurs bidirectionnels ont laissé LSTM et SVM derrière eux, et ils ont apporté trois dettes d'ingénierie.
- Les étiquettes avaient faim. Après le préentraînement, une tâche comme l'intention financière voulait encore des milliers d'exemples propres. Une étiquette fine de plus, c'était un nouveau passage de nettoyage, d'annotation collective et d'augmentation.
- Les formulations jamais vues tombaient. Ces classifieurs ajustaient une frontière de décision. Ils ne savaient pas ce que l'étiquette voulait dire.
- Un jeu de poids par tâche. Des dizaines de besoins de classification voulaient dire des dizaines d'instances, et les versions, la mémoire et les publications s'empilaient ensemble.
Ce qui manquait, c'était quelque chose qui comprenait la phrase et pouvait rendre une probabilité pour une définition que vous venez d'écrire, sans entraîner une tête nouvelle pour chaque étiquette.
L'excès des modèles génératifs
La ligne GPT a fait paraître la classification résolue. Une phrase, « jugez le sentiment et rendez du JSON », et un modèle sans exemples nomme souvent une classe. La production a montré l'autre face.
- Le format est encore une chaîne de probabilités. Pour obtenir une étiquette, vous demandez du JSON ou du XML légal. Un modèle génératif fort a encore une petite chance d'écrire une phrase de trop, et l'analyseur casse.
- Le coût est lié à la longueur. Une étiquette de quelques caractères se tient derrière une longue instruction et un décodage token par token. Dans les contrôles de risque en direct et le routage en ligne, c'est un canon de siège contre un moustique.
Nous avons gagné une compréhension sémantique forte, puis nous y avons branché un tuyau de sortie lent et fragile, seulement pour obtenir une classe. Si « ne peut pas halluciner » vise ce tuyau, les modèles génératifs ne l'ont pas retiré. Ils sont devenus meilleurs pour écrire l'hallucination de façon qu'elle sonne comme une phrase.
Une passe avant, une distribution
Jev se tient entre les deux : il veut la sémantique de cette génération et le comportement à peu d'exemples, il ne veut pas la génération de texte, et il revient à la forme de sortie d'un classifieur.
De l'ajustement des traits à l'alignement du sens
Les vieux classifieurs coupaient une variété dans l'espace vectoriel. Changez l'étiquette, et il faut les ajuster de nouveau. Jev lit l'état à classer avec la définition en langage naturel de chaque étiquette. Vous écrivez ce qu'un échelon veut dire, et il pose une probabilité sur cet échelon, sans une mise à jour de gradient pour l'étiquette nouvelle. La compréhension appartient à l'ère générative. La sortie, non.
Il ne génère plus token par token
La génération est lente parce que chaque token est une autre passe avant. Jev n'écrit pas les caractères de {"category": "A"}. En une passe avant, il répartit la probabilité sur les candidats. La dérive de format disparaît comme classe de panne : il n'y a pas de chaîne, donc pas de chaîne à casser.
C'est la couche que « ne peut pas halluciner » nomme vraiment. Il ne peut pas inventer une option hors de la liste, et il ne peut pas ajouter une explication après la réponse. Il peut encore assigner la mauvaise probabilité dans la liste. La calibration demande si la confiance qu'il déclare bouge avec la fréquence à laquelle il a raison. Elle ne promet pas que la classe soit toujours la bonne.
Ce que l'exploitation ne garde plus
| Dimension | Années BERT | Modèles génératifs | Jev |
|---|---|---|---|
| Données | Ajustement fin sur un grand ensemble étiqueté | Peu d'exemples, par l'instruction | Peu d'exemples, par une définition en langage naturel de l'étiquette |
| Sortie | Une tête de classification, format fixe | Génère, et le format peut casser | Une distribution, sans format à casser |
| Vitesse | Encodeur, millisecondes | Grandit avec la longueur générée | Bout en bout publié, environ 70–500 ms, et cela ne grandit pas avec une phrase de réponse |
| Sémantique | Facilement tirée par les mots de surface | Profonde | Profonde, mais seulement sur les étiquettes que vous avez données |
| Exploitation | Un jeu de poids par tâche | Instructions et analyseurs | Un modèle ; les définitions d'étiquettes changent avec la requête |
L'ancienne tâche n'est pas dépassée
Revenir à la classification de texte paraît familier. L'outil en dessous n'est plus l'outil émoussé.
- Vous ne faites pas un autre tour d'entraînement parce que 500 étiquettes étaient fausses.
- Vous n'enveloppez pas un JSON mal formé dans un try-catch.
- Vous passez l'état, vous écrivez ce que chaque option veut dire, et vous repartez avec une distribution.
De BERT aux modèles génératifs, puis à cette sortie structurée, la tâche classique n'est pas partie. Ce qui est parti, c'est « pour obtenir une étiquette, écrivez d'abord un paragraphe ». « Ne peut pas halluciner » s'arrête à cette couche. Au-dessus, une mauvaise classe, une question qui n'a pas été découpée, et une question ouverte qui n'aurait jamais dû être posée sont encore là. Le slogan ne les couvre pas.