JEV - Pelumas pada simpul kendali

Banyak simpul dalam rantai Agent menginginkan cabang, bukan paragraf. Jev duduk di simpul kendali, dan pembangkitan tetap pada satu langkah yang harus menulis. Pada harga yang dipublikasikan, simpul kendali itu berhenti membeli token keluaran.

JEV - Pelumas pada simpul kendali

Penulis bersama: folkbench.com (Folkbench adalah platform evaluasi dan pemilihan yang dapat ditinjau untuk API AI, layanan model, dan situs terkait. Platform ini memakai informasi layanan yang sudah diterbitkan, harga, ketersediaan, latensi, dan jendela bukti untuk membantu pengguna membandingkan dan memilih jalur.)

Sepuluh tulisan dalam seri ini:

Tidak bisa mengobrol adalah keuntungan di dalam rantai Agent. Satu permintaan pengguna sering melewati maksud, celah, pengambilan, alat, dan sebuah tinjauan. Simpul-simpul itu tidak menginginkan paragraf. Mereka menginginkan cabang. Jika setiap langkah mempekerjakan model yang menulis, P99 dan tagihan naik bersama. Jev duduk di simpul kendali sebagai pelumas: penilaiannya adalah distribusi, dan kalimatnya ditinggalkan pada satu langkah yang memang harus menghasilkan.

Di mana gesekannya

Sebuah permintaan bukan lagi satu pembacaan basis data. Ia adalah graf berarah: maksud, pengarahan, pemampatan konteks, alat, koreksi diri, sebuah ringkasan. Leher botol berpindah dari masukan/keluaran ke latensi dan harga panggilan model besar. 10 sampai 20 panggilan bawah dalam satu rantai kolaborasi adalah hal biasa. Gantungkan model unggulan pada ke-6 langkah, dan ekornya dengan mudah melewati 10 detik.

[user request]
   │
   ▼
1. Intent and route
   │
   ▼
2. Slots and checks
   │
   ▼
3. Retrieval and rerank
   │
   ▼
4. Tool choice (loop)
   │
   ▼
5. The content that must be written
   │
   ▼
6. Review and format
   │
   ▼
[response]

Penundaan bertumpuk

token pertama sebuah model obrolan sering sudah beberapa ratus milidetik, dan pembangkitan menambah lagi. 6 langkah berantai menunggu setiap token pertama dan setiap pembangkitan. Peluang kecil untuk jatuh ke ekor pada setiap langkah cukup untuk menarik P99 seluruh rantai melewati 10 detik. SLA putus lebih dulu di situ.

Simpul kendali tidak dihargai sebagai obrolan

Dari 6 langkah itu, yang harus menalar secara terbuka dan menyelesaikan kalimat sering hanya 2 atau 3 persepuluh. Sisanya adalah klasifikasi, pemeriksaan, dan perubahan keadaan. Membayar harga keluaran model unggulan untuk penilaian ya-tidak berarti memperlakukan aliran kendali sebagai karangan.

Pisahkan kendali dari penalaran

Pelumas tidak menggantikan penalaran yang dalam. Ia menggantikan kendali berfrekuensi tinggi.

  1. Bidang kendali memakai Jev. Pengarahan, pemeriksaan, klasifikasi, penilaian ringan. Yang dibutuhkan adalah keluaran tertutup dan konkurensi yang bisa disebar.
  2. Bidang penalaran memakai model yang bisa berbicara. Teks panjang, rencana banyak langkah, rentang yang harus dijelaskan kepada seseorang. Biaya dan kelambatan boleh tinggal di situ, karena langkah itu memang akan menghasilkan.
user request
   │
   ▼
[Jev] intent and route
   │
   ├──────────────┐
   ▼              ▼
[Jev] slot check [Jev] intercept
   │              │
   └──────┬───────┘
          ▼
[flagship] only this step generates
          │
          ▼
[Jev] review: out of bounds, or which rung
          │
          ▼
       response

Tiga akibat rekayasa mengikuti:

  • Simpul kendali tidak lagi tumbuh token demi token. Latensinya duduk di pita yang dipublikasikan, sekitar 70 sampai 500 milidetik ujung ke ujung, bukan satu pembangkitan penuh.
  • Konkurensi tidak lagi tersangkut di belakang «selesaikan dulu paragrafnya».
  • Simpul tinjauan menerima distribusi, bukan untaian JSON yang bisa pecah. Satu sumber badai percobaan ulang menjadi lebih kecil.

Satu rekening

Harga di bawah adalah asumsi, untuk menunjukkan bentuknya. Bukan daftar harga situs ini, dan bukan faktur. Model obrolan unggulan ditaksir $2.50 per juta token masukan dan $10 per juta token keluaran. Jev memakai angka yang dipublikasikan: $0.042 per juta token masukan, keluaran tidak ditagih. Volumenya 1 juta permintaan sehari.

Asumsinya

5 langkah per permintaan:

  • Maksud: 300 masuk, 50 keluar
  • Keadaan dan pemangkasan: 1000 masuk, 100 keluar
  • Argumen alat: 800 masuk, 150 keluar
  • Pembangkitan inti: 1500 masuk, 800 keluar
  • Tinjauan: 1000 masuk, 200 keluar

Dua sambungan

  • Rencana A: kelima langkah adalah model unggulan.
  • Rencana B: hanya pembangkitan inti yang tetap di model unggulan. 4 langkah lain pindah ke Jev. Langkah kendali tidak membayar token keluaran.

Biaya

Rencana A menggerakkan 4.6 miliar token masukan dan 1.3 miliar token keluaran sehari. Masukan $11,500, keluaran $13,000, bersama-sama $24,500. 30 hari sekitar $735,000.

Rencana B mengirim 3.1 miliar token masukan melalui 4 langkah Jev. Pada $0.042 per juta token itu sekitar $130, dan biaya keluaran adalah 0. Pembangkitan inti tetap $3,750 masukan ditambah $8,000 keluaran, $11,750. Bersama-sama sekitar $11,880 sehari, dan sekitar $356,000 sepanjang 30 hari.

Belanja bulanan turun sekitar setengah. Yang turun terutama token keluaran yang tidak lagi dibeli simpul kendali.

Penundaan

Ukuran Rencana A Rencana B
Empat simpul kendali Sekitar 450 ms pembangkitan masing-masing, sekitar 1.8 s Di dalam pita terbitan 70–500 ms, empat panggilan sekitar 0.28–2 s
Biaya API per hari $24,500 Sekitar $11,880
Simpul kendali menghasilkan token demi token Ya Tidak

Di ujung yang cepat, overhead kendali jelas di bawah 4 pembangkitan penuh. Di ujung yang lambat, 4 panggilan pada 500 ms bisa mendekati satu pembangkitan yang panjang, jadi jangan gambarkan pelumas sebagai beberapa puluh milidetik yang dijamin. Yang dibeli pemisahan ini: keluaran tidak lagi dihargai sebagai obrolan, dan penilaian bisa dipisah dari pembangkitan.

Tiga tempat untuk menaruhnya

Rute lebih dulu

Sebelum permintaan masuk ke penalaran inti, minta Jev satu klasifikasi tertutup. Jika balasan siap pakai atau singgahan bisa menjawab, kode mengembalikannya. Hanya anak tangga yang berarti «ini harus diuraikan» yang membangunkan model yang mahal. Jev tidak menulis balasan itu.

def handle_incoming_request(user_payload):
    route = jev_client.choice(
        state=user_payload.text,
        options=["FAST_ACK", "SIMPLE_QUERY", "DEEP_REASONING"],
    )
    if route.top == "FAST_ACK":
        return canned_ack(user_payload)
    if route.top == "DEEP_REASONING" and route.probability >= 0.8:
        return call_heavy_llm_pipeline(user_payload)
    return canned_ack(user_payload)

Ekstraksi harus keras

Argumen alat tidak seharusnya diurai dari paragraf yang ada komentar di dalamnya. Biarkan Jev memetakan teks yang kabur ke bidang dan enumerasi yang sudah dicantumkan lebih dulu. Hilir menerima distribusi dan opsi teratas, bukan uraian JSON yang bisa gagal.

Tipiskan konteksnya

Puluhan ribu token riwayat, didorong lurus ke model utama, mahal dan mudah hilang di tengah. Pertanyaan tertutup di antaranya menjatuhkan giliran yang tidak relevan dan menyimpan keadaan yang penting. Model utama lalu melihat masukan yang lebih pendek. Aturan tentang apa yang dibuang harus berupa pertanyaan, bukan «tolong ringkas ini».

Seri