JEV - 退出環路：置信度寫進程式碼

置信度寫進分支之後，人從每張工單的必經之路退到邊緣，只處理概率仍然散開的少數。高權限動作仍由代碼在閾值之上執行。

JEV - 退出環路：置信度寫進程式碼

聯合作者：folkbench.com （Folkbench 是面向 AI API、模型服務及相關站點的可覆核評測與選擇平台，依據已發布的服務資料、價格、可用性、延遲與證據窗口，幫助用戶比較並選擇使用路徑。）

這一組共十篇：

人在環路中間，曾經是妥協：模型會胡說，所以高風險動作前面站一個人。站久了，人變成架構負債。吞吐不再取決於帶寬，取決於有沒有人在班。Jev 把這件事倒過來。置信度寫進分支。人從主幹退到邊緣，只處理分佈仍然散開的那一小截。

人為什麼會被拉進來

聊天模型是文本續寫器。輸出的形狀不穩定，幻覺會直接變成業務事故。金融、派單、合規因此疊了兩層防禦。

解析層越墊越厚

為了從一段話裡摳出合法 JSON，周圍長出 Pydantic、重試、關鍵詞黑名單和第二次提示。一條判定的路徑變成：寫提示、等生成、解析失敗、再提示、再評估。延遲從一次調用漲成一輪循環。

人工隊列變成主幹

防禦仍不敢保證時，產品會說：這裡掛一個人工隊列。系統變成“模型起草稿，人來決定”。

  • 上限是人的速度和班次，不是機器。
  • 人要在幾個系統之間切換，讀一段非結構化的話，疲勞本身帶來誤判。
  • 買來的算力最後像打字員前面的草稿機。這是偽自動化。

置信度寫進分支

以前不能把模型直接寫進 if，是因為“我有九成把握”本身不可信，也很難拿來比較。Jev 交出來的是封閉題上的概率。高到政策允許，代碼執行。散著，才去邊緣隊列。

request
  │
  ▼
Jev
  ├─ probability clears the threshold ─► code runs
  └─ probability does not             ─► a person at the edge

概率先收攏

它不寫為什麼。它把語義壓到你定義好的類別或檔位上，給出數值。牆的左邊吸收自然語言的混亂。牆的右邊只剩能測試的數。

閾值才是路由

閾值是政策，不是模型的出廠設置。例如退款這種高權限動作，可以把“是”的概率卡在 0.99。過了，就當硬分支走。沒過，不要為了自動化去硬闖。0.99 在這裡是例子，每條業務自己寫。

人留在邊緣

人不再站在每個主幹節點上。人工隊列從必經之路變成異常攔截。它吞吐的是概率模糊的那一小部分，不是每一張工單。

一張工單，兩種寫法

先生成，再解析

def handle_ticket_legacy(ticket_text: str):
    prompt = f"""
    Read the ticket and return JSON:
    {{"intent": "REFUND"|"COMPLAINT"|"OTHER", "urgency": "HIGH"|"LOW"}}
    Ticket: {ticket_text}
    """
    raw = chat_model.complete(prompt)
    try:
        data = json.loads(raw)
    except json.JSONDecodeError:
        return push_to_human(ticket_text, reason="parse")
    if data.get("intent") == "REFUND" and data.get("urgency") == "HIGH":
        # no trustworthy confidence, so the privileged action still will not run itself
        return push_to_human(ticket_text, data)
    return default_route(data)

解析要處理缺字段和碎格式。就算解析成功，也不知道它有多穩，高風險分支還是回到人。

分佈直接進分支

def handle_ticket_jev(ticket_text: str):
    refund = jev.noul(state=ticket_text, statement="this is a high-risk request that should enter refund review automatically")
    kind = jev.choice(
        state=ticket_text,
        options=["HIGH_RISK_REFUND", "NORMAL_INQUIRY", "SPAM"],
    )
    if kind.top == "HIGH_RISK_REFUND" and refund.p_yes >= 0.99:
        return execute_refund_review(ticket_text)
    if kind.top == "NORMAL_INQUIRY" and kind.probability >= 0.95:
        return auto_reply(ticket_text)
    return push_to_edge_human(ticket_text, confidence=kind.probability)

這裡沒有把“自動退款”說成模型的權利。高權限動作仍然是代碼在閾值之上調用的函數。函數裡該有的賬務校驗，一行都不能少。模型只提供封閉題的概率。

放在一起看

維度 先生成，人在環中 分佈寫進分支
控制流 try-catch、重試、護欄 閾值和普通分支
延遲 一次生成，常常 1 秒以上；等人則是小時 封閉調用大約 70–500 毫秒；等人只發生在邊緣
人介入的位置 常常在主幹上 只在概率不夠的時候
狀態 中間夾著一段文本 過，或者不過

確定性回到 if

軟件工程要的是分支可測。聊天模型進主幹之後，if 前面多了一段可能變形的話。封閉題把變形留在牆的左邊。右邊仍是 if 和 else。

人是最大的一塊摩擦，當每個請求都要等他點一下。把他拉出主幹之後，過高閾值的流量不再為了確認而停住。概率掉下去的時候，系統只在局部滑向邊緣，不把整條鏈堵住。

人在環路中間，是早期付的妥協。成熟的接法不是讓人當零件，是讓人看那些仍然散開的少數，並處理極端異常。關節負責傾向。人負責還沒寫進政策的那一截。

系列