JEV - Das Anti-Token-Buch liefert es nicht zuerst

Ein etabliertes Labor kann Jev bauen. Das Hauptbuch rechnet nach erzeugter Menge ab, und die Organisation trennt Modelle vom Geschäft, also bauen sie es nicht zuerst. Wer es zuerst baut, muss die Preisliste verkehrt herum schreiben.

JEV - Das Anti-Token-Buch liefert es nicht zuerst

Mitautor: folkbench.com (Folkbench ist eine überprüfbare Bewertungs- und Auswahlplattform für KI-APIs, Modelldienste und verwandte Sites. Sie nutzt veröffentlichte Angaben zu Diensten, Preisen, Verfügbarkeit, Latenz und Evidenzfenstern, damit Nutzer Wege vergleichen und einen davon wählen können.)

Zehn Texte in dieser Reihe:

Auf der Seite der Technik kann ein etabliertes Labor Jev bauen. Es gibt keinen neuen Operator und keine Gewichtsdatei, die sonst niemand bekommen kann. Es ist ein Produkt, das den Geschäftszustand und geschlossene Urteile einsammelt. Ein halbes Team und ein paar Wochen reichen für eine Version, die läuft. Technisch hält das.

Auf der Seite der Organisation und des Hauptbuchs bauen sie es nicht zuerst. Das ist das Dilemma, das Christensen aufgeschrieben hat: etwas bauen zu können und bereit zu sein, den eigenen Gewinn dafür auszugeben, sind nicht dieselbe Tatsache.

Die Technik ist nicht der schwierige Teil

Wer RAG oder eine Zustandsmaschine mit mehreren Agent gebaut hat, sieht, dass Jev nicht gewinnt, indem es die Szene überwältigt. Es senkt die „Ausgabe des Schlussfolgerns“ auf eine Verteilung.

Der generative Weg ist: der Nutzer nennt einen Bedarf, das Modell schreibt eine lange Strecke Text oder Code, und ein Mensch oder der nächste Agent liest das aus.

Der Weg von Jev ist: das System zieht zuerst den Zustand, das Modell vergibt nur Wahrscheinlichkeit auf geschlossenen Fragen, die harten Zweige gehen zurück in den Code, und dann kommt ein Ergebnis zurück.

Ein Labor kann ein paar Leute abziehen und ein internes Experiment laufen lassen. Es kommt nicht in die zentrale Preisliste, weil die Preisliste in die andere Richtung zeigt.

Das token-Hauptbuch ist verkehrt herum geschrieben

Das generative Geschäft eines Etablierten, ob als API oder als Plätze verkauft, greift in eine Annahme: je mehr erzeugt wird, desto größer der Umsatz. Die internen Fragen wachsen dazu. Wie machen wir den Bericht länger. Wie fügen wir eine weitere Runde der Gedankenkette hinzu. Wie dehnen wir den Kontext auf eine Million token, dann auf zwei Millionen.

Jev läuft andersherum. Ein Vergleich über Systeme, wenn die ganze Historie einem Gesprächsmodell übergeben wird, kann Zehntausende Eingabe-token und Tausende Ausgabe-token umfassen, und ein einzelner Aufruf kann Cent kosten. Drückt man den Zustand zuerst aus und stellt nur geschlossene Fragen, kann die Eingabe auf ein paar hundert token fallen, und die Ausgabe wird nicht berechnet. Der veröffentlichte Eingabepreis ist $0.042 pro Million token. Die Lücke ist nicht ein paar Prozent.

Für eine Abteilung der Rechenwolke lautet der Satz in der Prüfung: dieselbe Arbeit wird immer noch erledigt, und die Kundschaft verbrennt hier weit weniger token. Das frisst den Umsatz der eigenen Abteilung. Ressourcen fließen zu Projekten, die mehr token verbrauchen. Etwas, das die Ausgabe austrocknet, sieht unter der geltenden Wertung wie ein Rand mit niedriger Marge aus.

Disruptives fängt oft so an: ein niedriger Stückpreis, der Randknoten bedient, und die bestehende Gewinnrechnung achtet es nicht. Jev wächst aus dieser Senke nach oben. Die Etablierten sind nicht blind. Das Hauptbuch lässt sie nicht zuerst ziehen.

Die Menschen und der Blick treffen sich nicht

Es gibt eine stillere Barriere. Die Arbeit bei Etablierten ist oft gespalten.

  1. Die Modellseite achtet auf Verlust, Ranglisten, Kontextlänge und Durchsatz. Sie beantwortet jedes Problem mit „das Modell ist stärker geworden“.
  2. Die Geschäftsseite achtet auf deterministischen Code, Transaktionen und Mikrodienste. Das Modell ist ein schwarzer Kasten: ungenutzt, oder im Ganzen geschluckt.

Das Gelenk braucht eine dritte Art von Person. Sie haben schlammige Geschäftssysteme geschrieben und wissen, dass das Modell stark in probabilistischer Induktion ist und schwach, wenn man es als regulären Ausdruck oder als Rechner benutzt. Sie wissen, wo geschnitten wird:

  • Lassen Sie das Modell nicht das ganze Programm erzeugen. Lassen Sie es am Zweig einmal klassifizieren.
  • Lassen Sie das Modell nicht den ganzen Kontext halten. Reduzieren Sie den Kontext zuerst auf Aufzählungen.
  • Das Skelett bleibt Code. Das Modell leitet nur am Gelenk weiter.

In einer Organisation, die so sauber zerschnitten ist, ist die Arbeit niemandes Aufgabe. Die Algorithmen nennen es zu geschäftlich. Das Geschäft nennt es unsicher. In einem kleinen Team sitzen die beiden Blicke noch in derselben Person, und das Produkt lässt sich einsammeln.

Der Umbruch beginnt unten

Großrechner sahen den Personalcomputer und sahen ein Spielzeug mit dünnem Gewinn. Netzbetreiber sahen die Sofortnachricht und sahen, dass sie SMS auffrisst. Die Feier von heute ist, Rechenleistung zu verkaufen, token zu verkaufen und Parameterzahlen zu vergleichen.

Worauf Jev zeigt, ist ein anderer Satz: Nutzung in großem Maßstab muss nicht dort geschehen, wo token teurer werden. Sie kann dort geschehen, wo token trocken gepresst werden und das Urteil wieder Infrastruktur wird.

Die Etablierten können es bauen. Sie werden meist warten, bis der alte Gewinn einmal durchgefressen ist, und dann in denselben Kampf gezogen werden. Die Leute, die es zuerst bauen, sind die, die bereit sind, die Preisliste verkehrt herum zu schreiben.

Reihe