JEV - Thoát vòng lặp: độ tin cậy viết vào mã

Sau khi độ tin cậy được viết vào nhánh, người rời đường bắt buộc của mỗi phiếu và chỉ xử lý số ít mà xác suất vẫn còn tản. Hành động quyền cao vẫn do mã chạy ở trên một ngưỡng.

JEV - Thoát vòng lặp: độ tin cậy viết vào mã

Đồng tác giả: folkbench.com (Folkbench là nền tảng đánh giá và lựa chọn có thể kiểm chứng cho API AI, dịch vụ mô hình và các trang liên quan. Nền tảng dựa trên thông tin dịch vụ đã công bố, giá, độ sẵn sàng, độ trễ và cửa sổ bằng chứng để giúp người dùng so sánh và chọn một đường đi.)

Nhóm này gồm mười bài:

Người ở giữa vòng từng là một thỏa hiệp: mô hình có thể nói linh tinh, nên một người đứng trước mọi hành động quyền cao. Để họ đứng đó đủ lâu, người thành nợ kiến trúc. Thông lượng không còn phụ thuộc băng thông. Nó phụ thuộc có ai đang ca hay không. Jev lật việc đó lại. Độ tin cậy được viết vào nhánh. Người lùi từ thân ra rìa, và chỉ xử lý đoạn ngắn nơi phân bố vẫn còn tản.

Vì sao người bị kéo vào

Mô hình trò chuyện là máy nối tiếp văn bản. Hình dạng đầu ra không ổn định, và ảo giác thành sự cố nghiệp vụ. Tài chính, điều phối, tuân thủ vì thế xếp hai lớp phòng thủ.

Lớp phân tích càng lót càng dày

Để móc JSON hợp lệ ra khỏi một đoạn văn, xung quanh mọc Pydantic, thử lại, danh sách chặn từ khóa, và lời nhắc thứ hai. Một đường phán định thành: viết lời nhắc, chờ sinh, phân tích thất bại, nhắc lại, đánh giá lại. Độ trễ từ một lần gọi phình thành một vòng lặp.

Hàng đợi người thành thân

Khi phòng thủ vẫn không dám bảo đảm, sản phẩm nói: treo một hàng đợi người ở đây. Hệ thống thành «mô hình viết nháp, người quyết».

  • Trần là tốc độ của người và ca của họ, không phải máy.
  • Người chuyển giữa vài hệ thống, đọc một đoạn lời không cấu trúc. Mệt mỏi tự nó gây phán sai.
  • Năng lực tính toán đã mua cuối cùng như một máy viết nháp đứng trước người gõ. Đó là tự động hóa giả.

Viết độ tin cậy vào nhánh

Trước kia không viết mô hình thẳng vào if, vì «tôi chắc 90 phần trăm» tự nó không đáng tin, cũng khó đem ra so. Jev giao lại là xác suất trên một câu hỏi đóng. Cao đến mức chính sách cho phép thì mã chạy. Còn tản thì đi tới hàng đợi ở rìa.

request
  │
  ▼
Jev
  ├─ probability clears the threshold ─► code runs
  └─ probability does not             ─► a person at the edge

Xác suất được gom trước

Nó không viết vì sao. Nó nén nghĩa vào lớp hoặc bậc bạn đã định, và đưa ra con số. Bên trái bức tường hút sự rối của ngôn ngữ tự nhiên. Bên phải chỉ còn con số có thể thử.

Ngưỡng mới là lối đi

Ngưỡng là chính sách, không phải thiết lập xuất xưởng của mô hình. Hành động quyền cao như hoàn tiền có thể đòi xác suất của «có» vượt 0.99. Vượt rồi thì đi như nhánh cứng. Chưa vượt thì đừng vì tự động hóa mà xông. 0.99 ở đây là ví dụ. Mỗi nghiệp vụ tự viết.

Người ở lại rìa

Người không còn đứng trên mọi nút của thân. Hàng đợi người thôi là đường bắt buộc và thành chỗ chặn ngoại lệ. Nó chuyển phần thiểu số còn mờ xác suất, không phải mọi phiếu.

Một phiếu, hai cách viết

Sinh trước, rồi mới phân tích

def handle_ticket_legacy(ticket_text: str):
    prompt = f"""
    Read the ticket and return JSON:
    {{"intent": "REFUND"|"COMPLAINT"|"OTHER", "urgency": "HIGH"|"LOW"}}
    Ticket: {ticket_text}
    """
    raw = chat_model.complete(prompt)
    try:
        data = json.loads(raw)
    except json.JSONDecodeError:
        return push_to_human(ticket_text, reason="parse")
    if data.get("intent") == "REFUND" and data.get("urgency") == "HIGH":
        # no trustworthy confidence, so the privileged action still will not run itself
        return push_to_human(ticket_text, data)
    return default_route(data)

Phân tích phải xử lý trường thiếu và định dạng vỡ. Dù phân tích thành công, bạn cũng không biết nó vững đến đâu, và nhánh rủi ro cao vẫn trở về người.

Phân bố đi vào nhánh

def handle_ticket_jev(ticket_text: str):
    refund = jev.noul(state=ticket_text, statement="this is a high-risk request that should enter refund review automatically")
    kind = jev.choice(
        state=ticket_text,
        options=["HIGH_RISK_REFUND", "NORMAL_INQUIRY", "SPAM"],
    )
    if kind.top == "HIGH_RISK_REFUND" and refund.p_yes >= 0.99:
        return execute_refund_review(ticket_text)
    if kind.top == "NORMAL_INQUIRY" and kind.probability >= 0.95:
        return auto_reply(ticket_text)
    return push_to_edge_human(ticket_text, confidence=kind.probability)

Đây không trao cho mô hình quyền hoàn tiền. Hành động quyền cao vẫn là hàm mà mã gọi ở trên một ngưỡng. Phần kiểm tra sổ sách trong hàm đó không được thiếu một dòng. Mô hình chỉ cung cấp xác suất của câu hỏi đóng.

Đặt cạnh nhau

Chiều Sinh trước, người ở trong vòng Phân bố viết vào nhánh
Luồng điều khiển try-catch, thử lại, lan can Một ngưỡng và một nhánh thường
Độ trễ Một lần sinh, thường hơn 1 giây; chờ người là hàng giờ Lời gọi đóng khoảng 70–500 ms; người chỉ xuất hiện ở rìa
Người ngồi ở đâu Thường trên thân Chỉ khi xác suất không đủ
Trạng thái Một đoạn chữ ở giữa Qua, hoặc không qua

Tính xác định trở về if

Kỹ thuật phần mềm cần một nhánh có thể thử. Sau khi mô hình trò chuyện vào thân, một câu có thể đổi hình ngồi trước if. Câu hỏi đóng để sự đổi hình ở bên trái bức tường. Bên phải vẫn là if và else.

Người là mảng ma sát lớn nhất khi mọi yêu cầu đều chờ một cú nhấn. Kéo họ khỏi thân, lưu lượng vượt ngưỡng không còn dừng để xác nhận. Khi xác suất tụt, hệ thống chỉ trượt về rìa ở chỗ đó. Nó không bịt cả chuỗi.

Người ở giữa vòng là thỏa hiệp trả từ sớm. Đường nối đã chín không dùng người làm linh kiện. Nó để người xem số ít vẫn còn tản, và xử lý ngoại lệ cực đoan. Khớp giữ độ nghiêng. Người giữ đoạn chưa được viết vào chính sách.

Nhóm bài