JEV - Von BERT zurück zu einer Verteilung

„Kann nicht halluzinieren“ deckt nur die geschlossene Frage: Die Antwort kann die festgelegte Menge nicht verlassen, und darin kann sie trotzdem falsch sein. Jev behält die Semantik dieser Generation und gibt einen Vorwärtsdurchlauf und eine Verteilung zurück.

JEV - Von BERT zurück zu einer Verteilung

Mitautor: folkbench.com (Folkbench ist eine überprüfbare Bewertungs- und Auswahlplattform für KI-APIs, Modelldienste und verwandte Sites. Sie nutzt veröffentlichte Angaben zu Diensten, Preisen, Verfügbarkeit, Latenz und Evidenzfenstern, damit Nutzer Wege vergleichen und einen davon wählen können.)

Zehn Texte in dieser Reihe:

„Kann nicht halluzinieren“ ist kein Slogan. Es deckt eine Schicht: Die Antwort muss in der Menge landen, die Sie vorher festgelegt haben. Eine Bezeichnung außerhalb dieser Menge lässt sich nicht erfinden. Innerhalb der Menge kann die Wahrscheinlichkeit trotzdem falsch sein. Dieser Essay setzt diese Grenze zurück in die Geschichte der Klassifikation. Jev sieht aus wie der allgemeine Klassifikator der Jahre vor GPT, mit der Semantik dieser Generation und mit einer Ausgabe, die zu einem Vorwärtsdurchlauf und einer Verteilung zurückgekehrt ist.

Was die Jahre der Klassifikatoren gekostet haben

Von 2018 bis 2021 war viel Arbeit im NLP Klassifikation: Absicht, Weiterleitung, Sentiment, Domänenbezeichnungen. BERT, RoBERTa und XLNet waren die Werkzeuge. Bidirektionale Kodierer ließen LSTM und SVM hinter sich und brachten drei technische Schulden mit.

  1. Bezeichnungen waren hungrig. Nach dem Vortraining wollte eine Aufgabe wie finanzielle Absicht immer noch Tausende saubere Beispiele. Eine feinere Bezeichnung mehr bedeutete eine weitere Runde Reinigung, verteiltes Annotieren und Anreicherung.
  2. Ungesehene Formulierungen fielen heraus. Diese Klassifikatoren passten eine Entscheidungsgrenze an. Sie wussten nicht, was die Bezeichnung bedeutete.
  3. Ein Gewichtssatz pro Aufgabe. Dutzende Klassifikationsbedürfnisse bedeuteten Dutzende Instanzen, und Versionen, Speicher und Veröffentlichungen stapelten sich zusammen.

Was fehlte, war etwas, das den Satz verstand und eine Wahrscheinlichkeit für eine Definition zurückgeben konnte, die Sie gerade geschrieben haben, ohne für jede Bezeichnung einen neuen Kopf zu trainieren.

Das Übermaß der generativen Modelle

Die Linie von GPT ließ die Klassifikation gelöst aussehen. Ein Satz, „beurteilen Sie das Sentiment und geben Sie JSON zurück“, und ein Modell ohne Beispiele nennt oft eine Klasse. Die Produktion zeigte die andere Seite.

  • Das Format ist immer noch eine Wahrscheinlichkeitskette. Um eine Bezeichnung zu bekommen, verlangen Sie gültiges JSON oder XML. Ein starkes generatives Modell hat immer noch eine kleine Chance, einen Satz zu viel zu schreiben, und der Zerteiler bricht.
  • Die Kosten hängen an der Länge. Eine Bezeichnung aus wenigen Zeichen sitzt hinter einer langen Anweisung und einer Decodierung token für token. In laufenden Risikoprüfungen und in der Online-Weiterleitung ist das ein Belagerungsgeschütz gegen eine Mücke.

Wir gewannen starkes semantisches Verstehen und hängten dann ein langsames, sprödes Ausgaberohr daran, nur um eine Klasse zu erhalten. Wenn „kann nicht halluzinieren“ dieses Rohr meint, haben generative Modelle es nicht entfernt. Sie wurden besser darin, die Halluzination so zu schreiben, dass sie wie ein Satz klingt.

Ein Vorwärtsdurchlauf, eine Verteilung

Jev steht zwischen beiden: Es will die Semantik dieser Generation und das Verhalten mit wenigen Beispielen, es will keine Texterzeugung, und es kehrt zur Ausgabeform eines Klassifikators zurück.

Vom Anpassen der Merkmale zum Ausrichten der Bedeutung

Alte Klassifikatoren schnitten eine Mannigfaltigkeit im Vektorraum. Ändert sich die Bezeichnung, müssen sie neu angepasst werden. Jev liest den zu klassifizierenden Zustand zusammen mit der natürlichsprachlichen Definition jeder Bezeichnung. Sie schreiben, was eine Stufe bedeutet, und es legt Wahrscheinlichkeit auf diese Stufe, ohne ein Gradientenupdate für die neue Bezeichnung. Das Verstehen gehört der generativen Ära. Die Ausgabe nicht.

Es erzeugt nicht mehr token für token

Erzeugung ist langsam, weil jeder token ein weiterer Vorwärtsdurchlauf ist. Jev schreibt nicht die Zeichen von {"category": "A"}. In einem Vorwärtsdurchlauf verteilt es die Wahrscheinlichkeit über die Kandidaten. Formatdrift verschwindet als Fehlerklasse: Es gibt keine Zeichenkette, also keine Zeichenkette, die brechen kann.

Das ist die Schicht, die „kann nicht halluzinieren“ tatsächlich benennt. Es kann keine Option außerhalb der Liste erfinden und nach der Antwort keine Erklärung anhängen. Es kann innerhalb der Liste immer noch die falsche Wahrscheinlichkeit zuweisen. Kalibrierung fragt, ob die gemeldete Sicherheit sich damit bewegt, wie oft es richtig liegt. Sie verspricht nicht, dass die Klasse immer richtig ist.

Was der Betrieb nicht mehr pflegt

Dimension Jahre von BERT Generative Modelle Jev
Daten Feinjustierung auf einer großen beschrifteten Menge Wenige Beispiele, über die Anweisung Wenige Beispiele, über eine natürlichsprachliche Definition der Bezeichnung
Ausgabe Ein Klassifikationskopf, festes Format Erzeugt, und das Format kann brechen Eine Verteilung, ohne Format, das brechen kann
Geschwindigkeit Kodierer, Millisekunden Wächst mit der erzeugten Länge Veröffentlichtes Ende zu Ende etwa 70–500 ms, und es wächst nicht mit einem Antwortsatz
Semantik Leicht von Oberflächenwörtern gezogen Tief Tief, aber nur auf die Bezeichnungen, die Sie gegeben haben
Betrieb Ein Gewichtssatz pro Aufgabe Anweisungen und Zerteiler Ein Modell; die Bezeichnungsdefinitionen ändern sich mit der Anfrage

Die alte Aufgabe ist nicht veraltet

Zur Textklassifikation zurückzukehren fühlt sich vertraut an. Das Werkzeug darunter ist nicht mehr das stumpfe.

  • Sie trainieren keine weitere Runde, weil 500 Bezeichnungen falsch waren.
  • Sie wickeln kein fehlerhaftes JSON in try-catch.
  • Sie geben den Zustand weiter, schreiben, was jede Option bedeutet, und nehmen eine Verteilung zurück.

Von BERT über generative Modelle zu dieser strukturierten Ausgabe ist die klassische Aufgabe nicht gegangen. Gegangen ist „um eine Bezeichnung zu erhalten, schreiben Sie zuerst einen Absatz“. „Kann nicht halluzinieren“ endet auf dieser Schicht. Darüber sind eine falsche Klasse, eine Frage, die nicht geteilt wurde, und eine offene Frage, die nie hätte gestellt werden dürfen, immer noch da. Der Slogan deckt sie nicht.

Reihe