JEV - Buku anti-token tidak merilisnya lebih dulu

Laboratorium petahana bisa membangun Jev. Buku besar menagih menurut banyaknya yang dihasilkan, dan organisasi memisahkan model dari bisnis, jadi mereka tidak membangunnya lebih dulu. Siapa yang membangun lebih dulu harus menulis daftar harga secara terbalik.

JEV - Buku anti-token tidak merilisnya lebih dulu

Penulis bersama: folkbench.com (Folkbench adalah platform evaluasi dan pemilihan yang dapat ditinjau untuk API AI, layanan model, dan situs terkait. Platform ini memakai informasi layanan yang sudah diterbitkan, harga, ketersediaan, latensi, dan jendela bukti untuk membantu pengguna membandingkan dan memilih jalur.)

Sepuluh tulisan dalam seri ini:

Dari sisi rekayasa, laboratorium petahana bisa membangun Jev. Tidak ada operator baru, dan tidak ada berkas bobot yang orang lain tidak bisa dapatkan. Ini produk yang mengumpulkan keadaan bisnis dan penilaian tertutup. Setengah tim dan beberapa minggu cukup untuk membuat versi yang berjalan. Secara teknis, itu berlaku.

Dari sisi organisasi dan buku besar, mereka tidak membangunnya lebih dulu. Inilah dilema yang Christensen tulis: mampu membangun sesuatu, dan bersedia menghabiskan laba sendiri untuk melakukannya, bukan fakta yang sama.

Rekayasa bukan bagian yang sulit

Siapa yang pernah membangun RAG atau mesin keadaan dengan beberapa Agent bisa melihat bahwa Jev tidak menang dengan menindas adegan. Ia menurunkan "keluaran penalaran" menjadi sebuah distribusi.

Jalur generatif adalah: pengguna menyatakan kebutuhan, model menulis bentangan panjang teks atau kode, dan seseorang atau Agent berikutnya mengurainya.

Jalur Jev adalah: sistem lebih dulu menarik keadaan, model hanya memberi probabilitas pada pertanyaan tertutup, cabang yang keras kembali ke kode, lalu sebuah hasil datang kembali.

Sebuah laboratorium bisa menarik beberapa orang dan menjalankan percobaan internal. Itu tidak masuk daftar harga inti, karena daftar harga menunjuk ke arah lain.

Buku besar token ditulis terbalik

Bisnis generatif petahana, dijual sebagai API atau sebagai kursi, menggigit satu asumsi: semakin banyak yang dihasilkan, semakin besar pendapatan. Pertanyaan internal tumbuh mengikuti itu. Bagaimana kita membuat laporan lebih panjang. Bagaimana kita menambah satu putaran lagi rantai penalaran. Bagaimana kita meregangkan konteks sampai satu juta token, lalu dua juta.

Jev berjalan ke arah lain. Perbandingan lintas sistem, jika seluruh riwayat diserahkan ke model obrolan, bisa menjadi puluhan ribu token masukan dan ribuan token keluaran, dan satu panggilan bisa berharga beberapa sen. Peras keadaan lebih dulu dan tanyakan hanya pertanyaan tertutup, maka masukan bisa turun ke beberapa ratus token, dan keluaran tidak ditagih. Harga masukan yang diterbitkan adalah $0.042 per juta token. Celahnya bukan beberapa persen.

Bagi divisi awan, kalimat dalam tinjauan adalah: pekerjaan yang sama tetap selesai, dan pelanggan membakar jauh lebih sedikit token di sini. Itu memakan pendapatan divisi sendiri. Sumber daya mengalir ke proyek yang menghabiskan lebih banyak token. Sesuatu yang mengeringkan keluaran terlihat, di bawah kartu nilai yang berlaku, seperti tepi dengan laba tipis.

Hal yang merongrong sering mulai seperti ini: harga satuan rendah, melayani simpul tepi, dan laporan laba yang ada tidak menghormatinya. Jev tumbuh ke atas dari cekungan itu. Petahana tidak buta. Buku besar tidak membiarkan mereka bergerak lebih dulu.

Orang dan sudut pandang tidak bertemu

Ada penghalang yang lebih sunyi. Kerja di petahana sering terbelah.

  1. Sisi model mengawasi kerugian, papan peringkat, panjang konteks, dan laju keluaran. Ia menjawab setiap soal dengan "model menjadi lebih kuat".
  2. Sisi bisnis mengawasi kode deterministik, transaksi, dan layanan mikro. Model adalah kotak hitam: tidak dipakai, atau ditelan utuh.

Sendi membutuhkan jenis orang yang ketiga. Mereka pernah menulis sistem bisnis yang berlumpur, dan mereka tahu model kuat pada induksi probabilistik dan lemah jika dipakai sebagai ekspresi reguler atau kalkulator. Mereka tahu di mana memotong:

  • Jangan suruh model menghasilkan seluruh program. Suruh ia menggolongkan sekali di cabang.
  • Jangan suruh model memegang seluruh konteks. Turunkan dulu konteks menjadi enumerasi.
  • Kerangkanya tetap kode. Model hanya mengarahkan di sendi.

Di organisasi yang dipotong sebersih ini, pekerjaan itu bukan tugas siapa pun. Algoritma menyebutnya terlalu urusan bisnis. Bisnis menyebutnya tidak pasti. Di tim kecil dua sudut pandang masih duduk di orang yang sama, dan produknya bisa dikumpulkan.

Perusakan mulai dari bawah

Komputer besar memandang komputer pribadi dan melihat mainan dengan laba tipis. Perusahaan telekomunikasi melihat pesan instan dan melihatnya memakan SMS. Perayaan hari ini adalah menjual komputasi, menjual token, dan membandingkan jumlah parameter.

Yang Jev tunjuk adalah kalimat lain: pemakaian skala besar mungkin tidak terjadi di tempat token menjadi lebih mahal. Ia mungkin terjadi di tempat token diperas kering dan penilaian kembali menjadi infrastruktur.

Petahana bisa membangunnya. Mereka sebagian besar akan menunggu sampai laba lama dimakan satu kali, lalu terseret ke pertarungan yang sama. Orang yang membangunnya lebih dulu adalah orang yang bersedia menulis daftar harga secara terbalik.

Seri