Ein Gelenk braucht kein Gehirn

Mitautor: folkbench.com (Folkbench ist eine überprüfbare Bewertungs- und Auswahlplattform für KI-APIs, Modelldienste und verwandte Sites. Sie nutzt veröffentlichte Angaben zu Diensten, Preisen, Verfügbarkeit, Latenz und Evidenzfenstern, damit Nutzer Wege vergleichen und einen davon wählen können.)

Zehn Texte in dieser Reihe:

• JEV - Ein Gelenk braucht kein Gehirn
• JEV - Das Schmiermittel auf den Steuerknoten
• JEV - Von BERT zurück zu einer Verteilung
• JEV - Die geschlossene Frage entwerfen
• JEV - Das Anti-Token-Buch liefert es nicht zuerst
• JEV - Zwei Demos, die nur eine Verteilung zurückgeben
• JEV - Raus aus der Schleife: Konfidenz in den Code
• JEV - Hinter der Linie ist klüger nicht mehr das Produkt
• JEV - Intuition und Vernunft: Fragen, die ihm nicht gehören
• JEV - Vom Bildschirm zur nackten Wahrscheinlichkeit

Die Rechenleistung einer Nationalbibliothek dafür auszugeben, ob ein Hund beim Glockenton speicheln soll, ist heute die Form vieler Knoten. Die Aufgabe ist ein Schnitt in zwei Richtungen: nimmt dieser Satz den Parser für chinesische Rechnungen, oder den für englische Belege. Hängt man ein Modell daran, das gern in der Öffentlichkeit begründet, schreibt es ein paar hundert token Debatte und danach ein einziges Etikett. Die Zeit geht in den Text. Das Geld auch.

Die Biologie hat das schon beantwortet. Wenn jeder Schritt darauf warten würde, dass der Cortex die Rechnung macht, käme nichts über die Steppe. Das Knie trifft den Boden und beugt sich.

Ein Gelenk braucht kein Gehirn. Ein Gelenk braucht einen Reflex.

Jev ist für diese Stelle geschnitten. Es erzeugt keinen freien Text. Eine geschlossene Frage geht hinein. Eine Verteilung kommt heraus.

Urteil, das am Text hängt

Die heutigen großen Modelle sind in der Produktion langsam und teuer, weil sie denken und sprechen im selben Kreislauf natürlicher Sprache müssen. Gewollt war ein Ja, eine Verteilung oder eine Stufe. Der Weg, den man bekommt, ist token hinein, eine verdeckte Rechnung, dann ein token nach dem anderen dekodiert, und am Ende ein regulärer Ausdruck, der die Antwort aus einem Satz fischt.

Jedes Leerzeichen und jedes Komma steht auf der Rechnung. Autoregressive Dekodierung lässt sich nicht sauber parallelisieren. Damit das Modell „JSON ausgibt und keine Erklärung“, wächst die Vorgabe um einen weiteren Block von Fesseln. Es ist, als schriebe man vor jedem Schritt „ich setze jetzt den linken Fuß“.

Die meisten kleinen Schleifen eines Produktionssystems brauchen diesen Absatz nicht. Prosa ist für Menschen. Maschinen wollen eine Wahrscheinlichkeit.

Ein Reflex, der nicht spricht

Jev hat vom Entwurf her keinen Mund. Ein Stück Zustand geht hinein. Es startet keine token-Schleife. Es verteilt Wahrscheinlichkeit über die geschlossenen Antworten, die schon festliegen. Die drei Fragetypen sind dieselben, die die späteren Texte verwenden. Benenne sie nicht um:

• Ja oder nein, Noul. Zurück kommt die Wahrscheinlichkeit von „ja“, von 0 bis 1. Es ist kein leerer Wert, und es ist kein Ablehnungssignal.
• Einfachauswahl, Choice. Die Optionen stehen vorher fest, höchstens 255. Es erfindet keine Option, die nicht auf der Liste steht.
• Geordnete Stufe, Score. Von 2 bis 10 Sprossen, jede Sprosse als konkreter Fall geschrieben.

Das ist ein Kniesehnenreflex. Der Hammer trifft das Band. Das Signal muss den Cortex nicht erreichen, bevor der Unterschenkel sich bewegt. Eine Erklärung ist nicht nötig. Nötig sind ein geschlossenes Ergebnis und eine Geschwindigkeit, die in eine Schleife passt.

Die veröffentlichte Spanne von Ende zu Ende liegt bei etwa 70 bis 500 Millisekunden. Die Eingabe kostet $0.042 je Million token. Die Ausgabe wird nicht berechnet. Das schnelle Ende und das langsame Ende leben beide in dieser Spanne. Beschreibe es nicht als ein paar Millisekunden, und beschreibe es nicht als einen Chat-Zug. Bei geschlossenen Urteilen von System One liegt die Fähigkeit im selben Band wie bei den heutigen großen Modellen, und die Geschwindigkeit ist 1 oder 2 Größenordnungen höher. „Dasselbe Band“ gilt nur für geschlossene Urteile.

Ein Modell, das chatten kann, sitzt im Hauptquartier und erklärt, warum der Feldzug existiert. Jev sitzt in den Fingerspitzen und in den Knien. Wenn etwas auf den Kopf zufliegt, weicht der Kopf zuerst aus.

Drei Schichten, nicht zwei

Der übliche Schnitt hatte zwei Schichten: was sich als if schreiben ließ, blieb im Code, und alles Unscharfe wurde einem Chat-Modell zugeworfen. Unscharfe Knoten trugen deshalb Kosten und Wartezeit zugleich. Der Schnitt, der zu diesem Produkt passt, hat drei Schichten:

       ┌────────────────────────────────────────┐
       │             3. Intelligence             │
       │  open reasoning, prose, talking to a    │
       │  person                                  │
       └───────────────────▲────────────────────┘
                           │ this question will not split; go up
       ┌───────────────────┴────────────────────┐
       │             2. Reflex (Jev)             │
       │  closed questions, fixed options,        │
       │  a distribution or a score               │
       └───────────────────▲────────────────────┘
                           │ the rule missed; hand it to reflex
       ┌───────────────────┴────────────────────┐
       │             1. Rules                    │
       │  branches whose edges are already        │
       │  written                                 │
       └────────────────────────────────────────┘

Die Regelschicht

Knochen. Reguläre Ausdrücke, Syntaxbäume, Algorithmen, deren Kanten schon geschrieben sind. CPU-Befehle. Ein Treffer ist ein Treffer.

Die Reflexschicht

Muskel und Gelenk. Eine kleine Verschiebung im Ton, in welche Warteschlange eine Absicht gehört, ob ein Satz passieren darf, ob der Kontext noch dasselbe meint. Die Regeln können die Liste nicht zu Ende schreiben, aber ein geübter Mensch neigt auf einen Blick zu einer Seite. Diese Knoten wecken nicht mehr zuerst ein Gehirn. Jev schreibt keine Erklärung. Es gibt eine Wahrscheinlichkeit zurück, oder eine ganze Verteilung. Leicht genug, um in der Schleife zu leben.

Die Intelligenzschicht

Cortex. Daten steigen nur hierher auf, wenn eine geschlossene Frage zerstreut bleibt und ein Mensch den Grund noch hören muss. Gedankenketten, lange Antworten und mehrstufige Pläne bleiben hier. Der Brief an den Kunden ist nicht die Arbeit des Gelenks.

Drei Schichten nehmen das große Modell nicht aus dem System. Sie hören auf, es zu benutzen, um jede Schraube zu drehen.

Ein gutes Werkzeug verschwindet

Wenn ein Hammer in die Hand passt, bleibt die Aufmerksamkeit auf dem Nagel. Der Hammer ist eine Verlängerung des Arms. Wenn er schwer ist, heiß, oder nach jedem Schlag eine Strophe singt, hört er auf, ein Werkzeug zu sein, und wird zum Hindernis.

Die Chat-Modelle der letzten Jahre waren zu sichtbar. Starke Persönlichkeit, zu viele Wörter, ein langsamer Takt. In ein Getriebe gesetzt, kommt jeder Eingriff mit einer klebrigen Reibung.

Jev ist der andere Pol: schmaler, schneller, billiger, und es verlangt nicht, gelesen zu werden. Ein Pol bleibt ein sehr großes Modell, das teures Denken in einem Rechenzentrum macht. Der andere Pol verteilt sich neben Protokollen, Warteschlangen und Sensoren, so wie Gelenke. Sie erklären sich nicht. Sie beenden die Kontraktion und die Lösung.

Was das System getragen hat, sind die Gelenke, die nicht denken müssen.

Reihe

• Weiter: JEV - Das Schmiermittel auf den Steuerknoten