JEV - Das Schmiermittel auf den Steuerknoten

Viele Knoten in einer Agent-Kette wollen einen Zweig, keinen Absatz. Jev sitzt auf den Steuerknoten, und die Erzeugung bleibt bei dem einen Schritt, der schreiben muss. Zum veröffentlichten Preis kaufen diese Knoten keine Ausgabe-token mehr.

JEV - Das Schmiermittel auf den Steuerknoten

Mitautor: folkbench.com (Folkbench ist eine überprüfbare Bewertungs- und Auswahlplattform für KI-APIs, Modelldienste und verwandte Sites. Sie nutzt veröffentlichte Angaben zu Diensten, Preisen, Verfügbarkeit, Latenz und Evidenzfenstern, damit Nutzer Wege vergleichen und einen davon wählen können.)

Zehn Texte in dieser Reihe:

Nicht chatten zu können ist ein Vorteil in einer Agent-Kette. Eine Nutzeranfrage läuft oft durch Absicht, Slots, Abruf, Werkzeuge und eine Prüfung. Diese Knoten wollen keinen Absatz. Sie wollen einen Zweig. Wenn jeder Schritt ein Modell anstellt, das schreibt, steigen P99 und Rechnung zusammen. Jev sitzt auf den Steuerknoten als Schmiermittel: das Urteil ist eine Verteilung, und der Satz bleibt bei dem einen Schritt, der wirklich erzeugen muss.

Wo die Reibung sitzt

Eine Anfrage ist keine einzelne Datenbanklesung mehr. Sie ist ein gerichteter Graph: Absicht, Leitung, Kontextverdichtung, Werkzeuge, Selbstkorrektur, eine Zusammenfassung. Der Engpass wandert von der E/A zur Latenz und zum Preis großer Modellaufrufe. 10 bis 20 darunterliegende Aufrufe in einer gemeinsamen Kette sind gewöhnlich. Hängt man an alle 6 Schritte ein Spitzenmodell, geht der Schwanz leicht über 10 Sekunden.

[user request]
   │
   ▼
1. Intent and route
   │
   ▼
2. Slots and checks
   │
   ▼
3. Retrieval and rerank
   │
   ▼
4. Tool choice (loop)
   │
   ▼
5. The content that must be written
   │
   ▼
6. Review and format
   │
   ▼
[response]

Verzögerung stapelt sich

Das erste token eines Chat-Modells liegt oft schon bei ein paar hundert Millisekunden, und die Erzeugung legt noch etwas darauf. 6 Schritte in Reihe warten auf jedes erste token und auf jede Erzeugung. Eine kleine Chance auf einen Schwanz bei jedem Schritt reicht, um das P99 der ganzen Kette über 10 Sekunden zu ziehen. Das SLA bricht dort zuerst.

Steuerknoten nicht als Chat bepreisen

Von diesen 6 Schritten müssen oft nur 2 oder 3 Zehntel offen denken und einen Satz zu Ende bringen. Der Rest ist Klassifikation, Prüfung und Zustandswechsel. Den Ausgabepreis eines Spitzenmodells für ein Ja-Nein-Urteil zu zahlen behandelt den Steuerfluss als Abfassung.

Steuerung vom Denken trennen

Das Schmiermittel ersetzt kein tiefes Denken. Es ersetzt hochfrequente Steuerung.

  1. Die Steuerebene benutzt Jev. Leitung, Prüfungen, Klassifikation, leichtes Urteil. Was sie braucht, ist eine geschlossene Ausgabe und Nebenläufigkeit, die sich verteilen lässt.
  2. Die Denkebene benutzt ein Modell, das sprechen kann. Langer Text, mehrstufige Pläne, die Strecke, die einem Menschen erklärt werden muss. Aufwand und Langsamkeit können dort bleiben, weil dieser Schritt ohnehin erzeugen sollte.
user request
   │
   ▼
[Jev] intent and route
   │
   ├──────────────┐
   ▼              ▼
[Jev] slot check [Jev] intercept
   │              │
   └──────┬───────┘
          ▼
[flagship] only this step generates
          │
          ▼
[Jev] review: out of bounds, or which rung
          │
          ▼
       response

Daraus folgen drei technische Folgen:

  • Steuerknoten wachsen nicht mehr token für token. Ihre Latenz liegt im veröffentlichten Band, etwa 70 bis 500 Millisekunden von Ende zu Ende, statt einer vollen Erzeugung.
  • Nebenläufigkeit bleibt nicht mehr hinter „beende zuerst den Absatz“ stecken.
  • Der Prüfknoten empfängt eine Verteilung, nicht eine JSON-Zeichenkette, die brechen könnte. Eine Quelle von Wiederholungsstürmen wird kleiner.

Eine Rechnung

Die Preise unten sind eine Annahme, um die Form zu zeigen. Sie sind nicht die Preisliste dieser Seite, und sie sind keine Rechnung. Das Spitzen-Chat-Modell wird auf $2.50 je Million Eingabe-token und $10 je Million Ausgabe-token geschätzt. Jev benutzt die veröffentlichten Zahlen: $0.042 je Million Eingabe-token, Ausgabe nicht berechnet. Das Volumen ist 1 Million Anfragen am Tag.

Die Annahme

5 Schritte je Anfrage:

  • Absicht: 300 hinein, 50 heraus
  • Zustand und Zuschnitt: 1000 hinein, 100 heraus
  • Werkzeugargumente: 800 hinein, 150 heraus
  • Kernerzeugung: 1500 hinein, 800 heraus
  • Prüfung: 1000 hinein, 200 heraus

Zwei Verdrahtungen

  • Plan A: alle 5 Schritte sind das Spitzenmodell.
  • Plan B: nur die Kernerzeugung bleibt auf dem Spitzenmodell. Die anderen 4 Schritte gehen zu Jev. Die Steuerschritte zahlen nicht für Ausgabe-token.

Kosten

Plan A bewegt am Tag 4.6 Milliarden Eingabe-token und 1.3 Milliarden Ausgabe-token. Die Eingabe ist $11,500, die Ausgabe ist $13,000, zusammen $24,500. 30 Tage sind etwa $735,000.

Plan B schickt 3.1 Milliarden Eingabe-token durch die 4 Jev-Schritte. Bei $0.042 je Million token sind das etwa $130, und die Ausgabegebühr ist 0. Die Kernerzeugung bleibt $3,750 Eingabe plus $8,000 Ausgabe, $11,750. Zusammen sind das etwa $11,880 am Tag und etwa $356,000 über 30 Tage.

Die monatliche Ausgabe fällt um etwa die Hälfte. Was fällt, sind vor allem die Ausgabe-token, die die Steuerknoten nicht mehr kaufen.

Verzögerung

Maß Plan A Plan B
Vier Steuerknoten Etwa 450 ms Erzeugung je Knoten, etwa 1.8 s Im veröffentlichten Band von 70–500 ms, vier Aufrufe etwa 0.28–2 s
API-Kosten am Tag $24,500 Etwa $11,880
Steuerknoten erzeugen token für token Ja Nein

Am schnellen Ende liegt der Steueraufwand klar unter 4 vollen Erzeugungen. Am langsamen Ende können 4 Aufrufe zu 500 ms sich einer langen Erzeugung nähern, also beschreibe das Schmiermittel nicht als garantierte wenige Dutzend Millisekunden. Was der Schnitt kauft, ist dies: die Ausgabe wird nicht mehr als Chat bepreist, und das Urteil lässt sich von der Erzeugung trennen.

Drei Stellen dafür

Zuerst die Route

Bevor eine Anfrage in das Kerndenken eintritt, bitte Jev um eine geschlossene Klassifikation. Wenn eine fertige Antwort oder ein Zwischenspeicher antworten kann, gibt der Code sie zurück. Nur die Sprosse, die bedeutet „das muss ausgearbeitet werden“, weckt das teure Modell. Jev schreibt diese Antwort nicht.

def handle_incoming_request(user_payload):
    route = jev_client.choice(
        state=user_payload.text,
        options=["FAST_ACK", "SIMPLE_QUERY", "DEEP_REASONING"],
    )
    if route.top == "FAST_ACK":
        return canned_ack(user_payload)
    if route.top == "DEEP_REASONING" and route.probability >= 0.8:
        return call_heavy_llm_pipeline(user_payload)
    return canned_ack(user_payload)

Extraktion muss hart sein

Werkzeugargumente sollten nicht aus einem Absatz mit Kommentaren darin gelesen werden. Lass Jev unscharfen Text auf Felder und Aufzählungen abbilden, die vorher aufgelistet waren. Stromabwärts kommt eine Verteilung und eine oberste Option an, nicht eine JSON-Zerlegung, die scheitern könnte.

Den Kontext verdünnen

Zehntausende token Geschichte, geradewegs auf das Hauptmodell geschoben, sind teuer und mittendrin leicht zu verlieren. Eine geschlossene Frage dazwischen wirft die belanglosen Züge ab und behält den Zustand, der zählt. Das Hauptmodell sieht dann eine kürzere Eingabe. Die Regel, was wegfallen soll, muss eine Frage sein, nicht „bitte fasse das zusammen“.

Reihe