JEV - Raus aus der Schleife: Konfidenz in den Code

Nachdem die Konfidenz in den Zweig geschrieben ist, tritt der Mensch vom Pflichtweg jedes Auftrags herunter und behandelt nur die wenigen, deren Wahrscheinlichkeit noch auseinanderliegt. Hochprivilegierte Handlungen laufen weiter im Code, oberhalb einer Schwelle.

JEV - Raus aus der Schleife: Konfidenz in den Code

Mitautor: folkbench.com (Folkbench ist eine überprüfbare Bewertungs- und Auswahlplattform für KI-APIs, Modelldienste und verwandte Sites. Sie nutzt veröffentlichte Angaben zu Diensten, Preisen, Verfügbarkeit, Latenz und Evidenzfenstern, damit Nutzer Wege vergleichen und einen davon wählen können.)

Zehn Texte in dieser Reihe:

Ein Mensch in der Mitte der Schleife war ein Kompromiss: Das Modell konnte Unsinn reden, also stand ein Mensch vor jeder Handlung mit hohem Privileg. Lässt man ihn dort lange genug stehen, wird der Mensch zur Architekturschuld. Der Durchsatz hängt nicht mehr von der Bandbreite ab. Er hängt davon ab, ob jemand Schicht hat. Jev dreht das um. Die Konfidenz wird in den Zweig geschrieben. Der Mensch tritt vom Stamm an den Rand und behandelt nur die kurze Strecke, auf der die Verteilung noch auseinanderliegt.

Warum der Mensch hineingezogen wurde

Ein Chat-Modell ist ein Textfortsetzer. Die Form der Ausgabe ist instabil, und eine Halluzination wird zum Vorfall. Finanzen, Zuteilung und Konformität haben deshalb zwei Verteidigungsschichten übereinandergelegt.

Die Analyseschicht wird immer dicker

Um gültiges JSON aus einem Absatz zu ziehen, wachsen drumherum Pydantic, Wiederholungen, Stichwortsperrlisten und eine zweite Anweisung. Ein Urteil wird zu: Anweisung schreiben, auf die Erzeugung warten, das Zerlegen scheitert, erneut anweisen, erneut bewerten. Die Latenz wächst von einem Aufruf zu einer Schleife.

Die menschliche Warteschlange wird zum Stamm

Wenn die Verteidigung noch immer nichts versprechen will, sagt das Produkt: Hängen Sie hier eine menschliche Warteschlange ein. Das System wird zu „das Modell entwirft, der Mensch entscheidet“.

  • Die Obergrenze ist die Geschwindigkeit eines Menschen und seine Schicht, nicht die Maschine.
  • Der Mensch wechselt zwischen Systemen und liest unstrukturierte Prosa. Die Müdigkeit selbst verursacht Fehler.
  • Die Rechenleistung, die Sie gekauft haben, endet als Entwurfsmaschine vor einer Schreibkraft. Das ist Scheinautomatisierung.

Die Konfidenz in den Zweig schreiben

Man konnte das Modell nicht geradewegs in ein if schreiben, weil „ich bin zu 90 Prozent sicher“ selbst unzuverlässig und schwer zu vergleichen war. Was Jev zurückgibt, ist eine Wahrscheinlichkeit für eine geschlossene Frage. Hoch genug für die Richtlinie, dann läuft der Code. Liegt sie auseinander, geht sie in die Warteschlange am Rand.

request
  │
  ▼
Jev
  ├─ probability clears the threshold ─► code runs
  └─ probability does not             ─► a person at the edge

Zuerst wird die Wahrscheinlichkeit eingesammelt

Es schreibt den Grund nicht. Es presst die Bedeutung auf die Klassen oder Sprossen, die Sie definiert haben, und gibt Zahlen zurück. Die linke Seite der Mauer nimmt das Durcheinander der natürlichen Sprache auf. Die rechte Seite ist nur noch eine Zahl, die sich prüfen lässt.

Die Schwelle ist die Route

Die Schwelle ist Richtlinie, nicht eine Werkseinstellung des Modells. Eine hochprivilegierte Handlung wie eine Erstattung kann verlangen, dass die Wahrscheinlichkeit von „ja“ 0.99 überschreitet. Darüber läuft sie als harter Zweig. Darunter erzwingen Sie die Automatisierung nicht. 0.99 ist hier ein Beispiel. Jedes Geschäft schreibt seine eigene.

Der Mensch bleibt am Rand

Der Mensch steht nicht mehr auf jedem Stammknoten. Die menschliche Warteschlange hört auf, der Pflichtweg zu sein, und wird zu einem Abfangen von Ausnahmen. Sie trägt die unscharfe Minderheit, nicht jeden Auftrag.

Ein Auftrag, zwei Arten, ihn zu schreiben

Zuerst erzeugen, dann zerlegen

def handle_ticket_legacy(ticket_text: str):
    prompt = f"""
    Read the ticket and return JSON:
    {{"intent": "REFUND"|"COMPLAINT"|"OTHER", "urgency": "HIGH"|"LOW"}}
    Ticket: {ticket_text}
    """
    raw = chat_model.complete(prompt)
    try:
        data = json.loads(raw)
    except json.JSONDecodeError:
        return push_to_human(ticket_text, reason="parse")
    if data.get("intent") == "REFUND" and data.get("urgency") == "HIGH":
        # no trustworthy confidence, so the privileged action still will not run itself
        return push_to_human(ticket_text, data)
    return default_route(data)

Das Zerlegen muss fehlende Felder und zerbrochenes Format behandeln. Selbst wenn das Zerlegen gelingt, wissen Sie nicht, wie stabil es war, und der Hochrisikozweig kehrt noch immer zu einem Menschen zurück.

Die Verteilung tritt in den Zweig ein

def handle_ticket_jev(ticket_text: str):
    refund = jev.noul(state=ticket_text, statement="this is a high-risk request that should enter refund review automatically")
    kind = jev.choice(
        state=ticket_text,
        options=["HIGH_RISK_REFUND", "NORMAL_INQUIRY", "SPAM"],
    )
    if kind.top == "HIGH_RISK_REFUND" and refund.p_yes >= 0.99:
        return execute_refund_review(ticket_text)
    if kind.top == "NORMAL_INQUIRY" and kind.probability >= 0.95:
        return auto_reply(ticket_text)
    return push_to_edge_human(ticket_text, confidence=kind.probability)

Das gesteht dem Modell kein Recht auf Erstattung zu. Eine hochprivilegierte Handlung ist noch immer eine Funktion, die der Code oberhalb einer Schwelle aufruft. Die Buchhaltungsprüfungen in dieser Funktion verlieren keine Zeile. Das Modell liefert nur die Wahrscheinlichkeit einer geschlossenen Frage.

Nebeneinander

Dimension Zuerst erzeugen, Mensch in der Schleife Verteilung in den Zweig geschrieben
Steuerfluss try-catch, Wiederholung, Leitplanken Eine Schwelle und ein gewöhnlicher Zweig
Latenz Eine Erzeugung, oft über eine Sekunde; auf einen Menschen warten heißt Stunden Ein geschlossener Aufruf liegt bei etwa 70–500 ms; ein Mensch kommt nur am Rand vor
Wo der Mensch sitzt Oft auf dem Stamm Nur wenn die Wahrscheinlichkeit nicht reicht
Zustand Eine Textstrecke in der Mitte Bestehen, oder nicht bestehen

Die Bestimmtheit kehrt zu if zurück

Software will einen Zweig, den man prüfen kann. Nachdem ein Chat-Modell in den Stamm eintritt, sitzt ein Satz, der die Form wechseln kann, vor dem if. Eine geschlossene Frage lässt diesen Formwechsel links von der Mauer. Rechts bleiben if und else.

Ein Mensch ist das größte Stück Reibung, wenn jede Anfrage auf einen Klick wartet. Ziehen Sie ihn vom Stamm, und Verkehr, der die Schwelle überschreitet, hält nicht mehr zur Bestätigung an. Fällt die Wahrscheinlichkeit, gleitet das System lokal zum Rand. Es blockiert nicht die ganze Kette.

Ein Mensch in der Mitte der Schleife war der Kompromiss, der früh bezahlt wurde. Die reife Verdrahtung benutzt einen Menschen nicht als Teil. Sie benutzt einen Menschen, um die wenigen Fälle anzusehen, die noch auseinanderliegen, und um die extremen Ausnahmen zu behandeln. Das Gelenk besitzt die Neigung. Der Mensch besitzt die Strecke, die noch nicht in die Richtlinie geschrieben ist.

Reihe