JEV - Keluar dari loop: keyakinan ditulis ke kode

Setelah keyakinan ditulis ke dalam cabang, orang keluar dari jalan wajib setiap permintaan dan hanya menangani sedikit yang probabilitasnya masih tersebar. Tindakan berkewenangan tinggi tetap dijalankan kode, di atas ambang.

JEV - Keluar dari loop: keyakinan ditulis ke kode

Penulis bersama: folkbench.com (Folkbench adalah platform evaluasi dan pemilihan yang dapat ditinjau untuk API AI, layanan model, dan situs terkait. Platform ini memakai informasi layanan yang sudah diterbitkan, harga, ketersediaan, latensi, dan jendela bukti untuk membantu pengguna membandingkan dan memilih jalur.)

Sepuluh tulisan dalam seri ini:

Orang di tengah lingkaran adalah kompromi: model bisa berkata sembarangan, jadi seseorang berdiri di depan setiap tindakan berkewenangan tinggi. Biarkan dia di sana cukup lama, dan orang itu menjadi utang arsitektur. Laju keluaran tidak lagi bergantung pada lebar pita. Ia bergantung pada ada tidaknya seseorang yang sedang bertugas. Jev membalikkan hal itu. Keyakinan ditulis ke dalam cabang. Orang mundur dari batang ke tepi, dan hanya menangani potongan pendek tempat distribusi masih tersebar.

Mengapa orang ditarik masuk

Model obrolan adalah penerus teks. Bentuk keluaran tidak stabil, dan halusinasi langsung menjadi insiden. Keuangan, pengiriman tugas, dan kepatuhan karena itu menumpuk dua lapis pertahanan.

Lapisan penguraian terus menebal

Untuk menarik JSON yang sah dari sebuah paragraf, di sekelilingnya tumbuh Pydantic, percobaan ulang, daftar blokir kata kunci, dan instruksi kedua. Satu penilaian menjadi: tulis instruksi, tunggu pembangkitan, gagal mengurai, instruksi lagi, nilai lagi. Latensi tumbuh dari satu panggilan menjadi satu putaran.

Antrean manusia menjadi batang

Ketika pertahanan masih tidak berani menjanjikan apa pun, produk berkata: gantungkan antrean manusia di sini. Sistem menjadi «model membuat draf, orang yang memutuskan».

  • Langit-langitnya adalah kecepatan orang dan giliran kerjanya, bukan mesin.
  • Orang berpindah di antara beberapa sistem dan membaca prosa yang tidak terstruktur. Kelelahan itu sendiri membawa salah putus.
  • Daya komputasi yang Anda beli akhirnya seperti mesin draf di depan juru ketik. Itu otomasi semu.

Dulu model tidak bisa ditulis langsung ke dalam if, karena «saya 90 persen yakin» sendiri tidak tepercaya dan sulit dibandingkan. Yang Jev serahkan adalah probabilitas pada pertanyaan tertutup. Cukup tinggi untuk kebijakan, kode berjalan. Tersebar, ia pergi ke antrean di tepi.

request
  │
  ▼
Jev
  ├─ probability clears the threshold ─► code runs
  └─ probability does not             ─► a person at the edge

Probabilitas dikumpulkan lebih dulu

Ia tidak menulis alasan. Ia menekan makna ke kelas atau tangga yang Anda tetapkan, dan mengembalikan angka. Sisi kiri dinding menyerap kekacauan bahasa alami. Sisi kanan hanya angka yang dapat diuji.

Ambang inilah rutenya

Ambang adalah kebijakan, bukan setelan pabrik model. Tindakan berkewenangan tinggi seperti pengembalian dana dapat menuntut probabilitas «ya» melewati 0.99. Di atas itu, ia berjalan sebagai cabang keras. Di bawah itu, jangan memaksa otomasi. 0.99 di sini adalah contoh. Setiap bisnis menulis miliknya sendiri.

Orang tinggal di tepi

Orang tidak lagi berdiri di setiap simpul batang. Antrean manusia berhenti menjadi jalan wajib dan menjadi penghadang pengecualian. Ia mengangkut minoritas yang kabur, bukan setiap permintaan.

Satu permintaan, dua cara menulisnya

Bangkitkan dulu, lalu urai

def handle_ticket_legacy(ticket_text: str):
    prompt = f"""
    Read the ticket and return JSON:
    {{"intent": "REFUND"|"COMPLAINT"|"OTHER", "urgency": "HIGH"|"LOW"}}
    Ticket: {ticket_text}
    """
    raw = chat_model.complete(prompt)
    try:
        data = json.loads(raw)
    except json.JSONDecodeError:
        return push_to_human(ticket_text, reason="parse")
    if data.get("intent") == "REFUND" and data.get("urgency") == "HIGH":
        # no trustworthy confidence, so the privileged action still will not run itself
        return push_to_human(ticket_text, data)
    return default_route(data)

Penguraian harus menangani ruas yang hilang dan format yang pecah. Sekalipun penguraian berhasil, Anda tidak tahu seberapa stabil ia, dan cabang berisiko tinggi tetap kembali ke orang.

Distribusi masuk ke cabang

def handle_ticket_jev(ticket_text: str):
    refund = jev.noul(state=ticket_text, statement="this is a high-risk request that should enter refund review automatically")
    kind = jev.choice(
        state=ticket_text,
        options=["HIGH_RISK_REFUND", "NORMAL_INQUIRY", "SPAM"],
    )
    if kind.top == "HIGH_RISK_REFUND" and refund.p_yes >= 0.99:
        return execute_refund_review(ticket_text)
    if kind.top == "NORMAL_INQUIRY" and kind.probability >= 0.95:
        return auto_reply(ticket_text)
    return push_to_edge_human(ticket_text, confidence=kind.probability)

Ini tidak memberi model hak untuk mengembalikan dana. Tindakan berkewenangan tinggi tetap fungsi yang dipanggil kode di atas ambang. Pemeriksaan pembukuan di dalam fungsi itu tidak boleh kehilangan satu baris. Model hanya menyediakan probabilitas pertanyaan tertutup.

Berdampingan

Dimensi Bangkitkan dulu, orang di dalam lingkaran Distribusi ditulis ke cabang
Alur kendali try-catch, percobaan ulang, pagar pengaman Ambang dan cabang biasa
Latensi Satu pembangkitan, sering di atas satu detik; menunggu orang berarti jam Panggilan tertutup sekitar 70–500 ms; orang hanya muncul di tepi
Di mana orang duduk Sering di batang Hanya ketika probabilitas tidak cukup
Keadaan Sepotong teks di tengah Lolos, atau tidak lolos

Ketertentuan kembali ke if

Perangkat lunak menginginkan cabang yang dapat diuji. Setelah model obrolan masuk ke batang, kalimat yang dapat berubah bentuk duduk di depan if. Pertanyaan tertutup meninggalkan perubahan bentuk itu di kiri dinding. Sisi kanan tetap if dan else.

Orang adalah potongan gesekan terbesar ketika setiap permintaan menunggu satu klik. Tarik dia dari batang, dan lalu lintas yang melewati ambang tidak lagi berhenti untuk konfirmasi. Ketika probabilitas jatuh, sistem meluncur ke tepi secara lokal. Ia tidak menyumbat seluruh rantai.

Orang di tengah lingkaran adalah kompromi yang dibayar lebih awal. Pengkabelan yang matang tidak memakai orang sebagai suku cadang. Ia memakai orang untuk melihat sedikit kasus yang masih tersebar, dan untuk menangani kekecualian yang ekstrem. Sendi memegang kecenderungan. Orang memegang potongan yang belum ditulis ke dalam kebijakan.

Seri