JEV - ループを出る：確信度をコードに書く

確信度が分岐に書かれたあと、人は依頼ごとの必経の道から退き、確率がまだ散らばっている少数だけを扱います。高権限の動作は、なおコードがしきい値の上で実行します。

JEV - ループを出る：確信度をコードに書く

共著者：folkbench.com （Folkbench は、AI API、モデルサービス、関連サイト向けの、検証できる評価・選定プラットフォームです。公開されたサービス情報、価格、可用性、レイテンシ、証拠の期間をもとに、利用者が経路を比較して選べるようにします。）

この一連は、十篇です。

ループの真ん中に人がいるのは、妥協でした。モデルはでたらめを言うことがあるので、高権限の動作の前に人が立っていました。長く立たせると、人はアーキテクチャ上の負債になります。スループットは帯域では決まらなくなります。誰かが当番に入っているかどうかで決まります。Jev はこれをひっくり返します。確信度は分岐に書き込まれます。人は幹線から縁へ退き、分布がまだ散らばっている短い一区間だけを扱います。

人が引き入れられた理由

チャットモデルは、テキストを継いで書くものです。出力の形は不安定で、幻覚はそのまま事故になります。金融、配車、遵守は、そのため防御を二層重ねました。

解析層は厚くなるばかりです

一段落から合法な JSON を掘り出すために、周りには Pydantic、再試行、キーワードの遮断リスト、二度目の指示が生えます。一つの判定の経路は、こうなります。指示を書き、生成を待ち、解析に失敗し、また指示し、また評価する。遅延は一回の呼び出しから、一周のループへ膨らみます。

人手の待ち行列が幹線になる

防御がまだ何も保証できないとき、製品は言います。ここに人手の待ち行列を掛けなさい、と。システムは「モデルが下書きし、人が決める」になります。

  • 上限は人の速度と当番であり、機械ではありません。
  • 人はいくつかのシステムのあいだを切り替え、構造化されていない文章を読みます。疲労そのものが誤判定を生みます。
  • 買った計算力は、最後には入力係の前にある下書き機になります。これは擬似自動化です。

確信度を分岐に書く

モデルを if に直接書けなかったのは、「90パーセントは確かだ」自体が信用できず、比べにくかったからです。Jev が返すのは、閉じた問いの上の確率です。方針が許すほど高ければ、コードが実行されます。散っていれば、縁の待ち行列へ行きます。

request
  │
  ▼
Jev
  ├─ probability clears the threshold ─► code runs
  └─ probability does not             ─► a person at the edge

確率を先に束ねる

理由は書きません。意味を、定義済みの類や段へ圧縮し、数値を返します。壁の左側は、自然言語の混乱を吸収します。右側に残るのは、テストできる数だけです。

しきい値こそが経路です

しきい値は方針であり、モデルの出荷時設定ではありません。返金のような高権限の動作では、「はい」の確率が 0.99 を超えることを求められます。超えたら、硬い分岐として進みます。超えなければ、自動化のために無理に進んではいけません。ここでの 0.99 は例です。業務ごとに自分で書きます。

人は縁に残る

人は、もう幹線のすべての節には立ちません。人手の待ち行列は必経の道ではなくなり、例外の横取りになります。運ぶのは確率がぼやけた少数であり、すべての依頼ではありません。

一つの依頼、二つの書き方

先に生成し、それから解析する

def handle_ticket_legacy(ticket_text: str):
    prompt = f"""
    Read the ticket and return JSON:
    {{"intent": "REFUND"|"COMPLAINT"|"OTHER", "urgency": "HIGH"|"LOW"}}
    Ticket: {ticket_text}
    """
    raw = chat_model.complete(prompt)
    try:
        data = json.loads(raw)
    except json.JSONDecodeError:
        return push_to_human(ticket_text, reason="parse")
    if data.get("intent") == "REFUND" and data.get("urgency") == "HIGH":
        # no trustworthy confidence, so the privileged action still will not run itself
        return push_to_human(ticket_text, data)
    return default_route(data)

解析は、欠けた項目と崩れた形式を扱わなければなりません。解析が成功しても、どれほど安定していたかは分かりません。高リスクの分岐は、なお人へ戻ります。

分布が分岐に入る

def handle_ticket_jev(ticket_text: str):
    refund = jev.noul(state=ticket_text, statement="this is a high-risk request that should enter refund review automatically")
    kind = jev.choice(
        state=ticket_text,
        options=["HIGH_RISK_REFUND", "NORMAL_INQUIRY", "SPAM"],
    )
    if kind.top == "HIGH_RISK_REFUND" and refund.p_yes >= 0.99:
        return execute_refund_review(ticket_text)
    if kind.top == "NORMAL_INQUIRY" and kind.probability >= 0.95:
        return auto_reply(ticket_text)
    return push_to_edge_human(ticket_text, confidence=kind.probability)

ここで、モデルに返金の権利を与えてはいません。高権限の動作は、なおコードがしきい値の上で呼ぶ関数です。その関数の中の会計検査は、一行も欠けてはなりません。モデルが渡すのは、閉じた問いの確率だけです。

並べて見る

次元 先に生成し、人がループの中にいる 分布を分岐に書く
制御の流れ try-catch、再試行、防護柵 しきい値と普通の分岐
遅延 一回の生成で、しばしば 1 秒を超える。人を待つと数時間 閉じた呼び出しはおよそ 70–500 ms。人が現れるのは縁だけ
人がいる場所 しばしば幹線の上 確率が足りないときだけ
状態 途中にテキストの一区間 通るか、通らないか

決定性は if に戻る

ソフトウェアが要るのは、テストできる分岐です。チャットモデルが幹線に入ると、形を変えうる一文が if の前に座ります。閉じた問いは、その変形を壁の左側に残します。右側は、なお if と else です。

すべての要求がクリックを待つとき、人は最大の摩擦です。幹線から外せば、しきい値を超えた流量は確認のために止まらなくなります。確率が落ちると、システムは局所的に縁へ滑ります。鎖全体は塞ぎません。

ループの真ん中に人がいるのは、早い時期に払った妥協です。成熟した配線は、人を部品にしません。まだ散らばっている少数を人に見させ、極端な例外を扱わせます。関節が傾きを持ちます。人が持つのは、まだ方針に書かれていない一区間です。

シリーズ