Sendi tidak membutuhkan otak

Jev adalah model System One milik TypeSafe. Ia tidak menulis teks bebas. Ia mengembalikan probabilitas untuk setiap pertanyaan tertutup, pada simpul di mana aturan habis dan model obrolan akan terbuang.

Folkbench folkbench.com

Penulis bersama: folkbench.com (Folkbench adalah platform evaluasi dan pemilihan yang dapat ditinjau untuk API AI, layanan model, dan situs terkait. Platform ini memakai informasi layanan yang sudah diterbitkan, harga, ketersediaan, latensi, dan jendela bukti untuk membantu pengguna membandingkan dan memilih jalur.)

Sepuluh tulisan dalam seri ini:

Model fondasi sudah melewati garis itu. Kebanyakan orang sudah tidak bisa mengajukan tugas yang berada di luar jangkauan mereka. Pertanyaan yang dapat Anda pikirkan, model yang ada sekarang sebagian besar bisa menampung. Membandingkan siapa yang sedikit lebih pandai mengobrol tidak cukup menopang produk baru. Perbedaannya sudah pindah ke definisi produk. Jev ditetapkan untuk tahap ini.

Ini adalah model System One milik TypeSafe AI. Ia tidak menghasilkan teks bebas. Anda memberinya sepotong state, teks atau state program, plus sekelompok pertanyaan tertutup. Setiap pertanyaan kembali sebagai distribusi probabilitas.

Yang dijualnya bukan obrolan. Yang dijualnya adalah sendi di dalam sebuah sistem.

Simpul ada beberapa jenis. Ada yang bisa dituliskan sebagai aturan, lalu selesai. Ada yang harus diuraikan secara terbuka dan diucapkan sampai selesai kepada seseorang. Itu pekerjaan otak. Satu kelompok tersisa di tengah. Aturan tidak bisa menuntaskannya. Memanggil otak untuk itu adalah pemborosan. Sendi duduk pada kelompok itu.

Membengkok sedikit sudah cukup

Saat Anda berjalan, lutut tidak bertanya kepada otak. Tanah keras, ia membengkok sedikit. Lereng curam, ia menahan. Tidak ada penjelasan, dan tidak ada draf.

Sendi tidak membutuhkan kecerdasan. Sendi membutuhkan naluri. Naluri berada di atas aturan. Yang bisa dituntaskan diserahkan ke aturan: state cocok, ambil cabang itu; tidak cocok, berhenti. Yang masih tidak bisa diputuskan aturan, tetapi orang yang sudah terlatih condong kepadanya dalam sekali lihat, pergi ke naluri. Ketika alasan harus dibentangkan, dan ada seseorang yang harus diajak bicara, panggil kecerdasan. Jangan berharap satu pertanyaan mengerjakan pekerjaan aturan sekaligus otak.

Jev tinggal di lapisan tengah itu. Pertanyaannya tertutup, dan bentuk jawabannya juga tertutup. Probabilitas boleh tersebar. Tersebar berarti ia tidak yakin. Ia hanya membagikan probabilitas di dalam jawaban yang Anda berikan. Patokan resmi untuk pertanyaan yang cocok itu ketat: penilaian yang bisa dibuat dalam satu detik oleh orang yang memahami domain itu, sambil melihat konteks. Apa pun yang butuh analisis panjang tidak pantas menjadi satu pertanyaan. Pecah.

Ini jenis pekerjaan yang sama dengan pengklasifikasi umum dari masa sebelum GPT. Pemahaman semantiknya lebih baik, dan ia lebih cepat. Ia bisa membaca kalimat yang memutar, dan ia bisa membaca maksud yang terselip di dalam state program. Jangan bawa ia untuk mengobrol.

Nama resmi posisinya adalah System One. Ia meminjam System 1 milik Kahneman: cepat, intuitif. Pemikiran lambat yang menuliskan langkah-langkahnya untuk dibaca seseorang tidak ada di posisi ini.

Namanya berasal dari William Stanley Jevons. Setelah batu bara dan mesin uap menjadi lebih efisien, permintaan tidak turun. Permintaan naik. Pemakaian resmi nama itu mengatakan bahwa begitu penilaian menjadi murah, jumlah simpul dalam sistem yang membutuhkan penilaian ikut bertambah.

Hanya tiga pertanyaan ini

Jenis pertanyaan hanya ada tiga.

Ya-tidak, disebut Noul. Satu kalimat yang bisa ditutup oleh benar atau salah. Yang kembali adalah probabilitas "ya", dari 0 sampai 1. Kode memasang ambang pada angka itu. Lewat garis, ia berjalan. Di bawah garis, ia berhenti, atau menyerahkan kasus itu kepada seseorang.

Pilihan tunggal, disebut Choice. Opsinya ditetapkan lebih dulu, paling banyak 255. Setiap opsi bisa diikuti satu kalimat yang menjelaskan artinya. Yang kembali adalah seluruh distribusi, plus opsi dengan probabilitas tertinggi. Ia tidak menambahkan apa pun yang tidak ada di daftar.

Tingkat berurutan, disebut Score. Dari 2 sampai 10 tingkat. Diurutkan dari rendah ke tinggi, setiap tingkat ditulis sebagai situasi yang konkret. Jangan berikan hanya sebuah angka. Titik jatuhnya boleh berada di antara dua tingkat, dan probabilitas setiap tingkat tetap ada. Jika bisnis membutuhkan bilangan bulat, kode yang mengumpulkannya.

Ketiganya bisa ditanyakan dalam permintaan yang sama. State yang sama, setiap pertanyaan berdiri sendiri. Ya-tidak tidak membuat draf pilihan tunggal. Pertanyaan mana yang dipakai, dan mana yang dibuang, ditentukan oleh kode. Menambah pertanyaan hampir tidak menambah waktu. Yang Anda tambahkan adalah token milik pertanyaan itu sendiri. Input ditagih per token. Biaya tambahan hanyalah potongan kecil itu.

Sampling bukan jenis obrolan. Keterangan resminya adalah arsitektur baru, sampling paralel. Satu lintasan mengumpulkan setiap keluaran. Bukan token demi token. Model obrolan lambat karena satu kata menunggu kata berikutnya, dan keluarannya ikut menjadi mahal di sepanjang jalan. Jev tidak tumbuh satu kata demi satu kata.

Metode pelatihannya disebut RLCD, Reinforcement Learning for Calibrated Decisions. Sasarannya adalah kalibrasi: keyakinan yang ia laporkan harus sejajar dengan seberapa sering ia sebenarnya benar. "Terbaca seperti orang" bukan sasarannya.

Input adalah $0.042 per juta token. Keluaran gratis. Ujung ke ujung sekitar 70ms sampai 500ms. Tujuh puluh milidetik terjadi, dan lima ratus milidetik juga terjadi. Penilaian resmi tentang kecerdasan dinyatakan bersamaan dengan itu: pada tugas System One, kira-kira sama dengan model besar yang ada sekarang, dan satu sampai dua orde besaran lebih cepat. "Kira-kira sama" itu hanya berlaku untuk penilaian tertutup. Memakainya untuk menulis artikel, atau untuk mengobrolkan pertanyaan yang belum tertutup sampai selesai, tidak ada di dalam klaim itu.

Di tempat aturan berhenti

Simpul berbentuk ini tidak langka. Klasifikasi, perutean, pemberian skor, peninjauan, pengendalian risiko, plus simpul penilaian di dalam Agent, semuanya memilikinya. Antrean mana yang dimasuki tiket, bentangan kode mana yang diambil lompatan berikutnya, seberapa panas sebuah keluhan, apakah satu kalimat boleh lewat, apakah sebuah operasi terlihat seperti pengecualian yang harus dihentikan, apakah alat di sebuah persimpangan diserahkan. Semua ini bisa ditanyakan dengan cepat, dan semuanya bisa ditutup.

Aturan bisa memakan bentangan yang mudah ditulis. Begitu pengecualian menumpuk, syarat-syaratnya kusut. Ubah satu, dan yang di sebelahnya bisa ikut gagal, jadi kemudian tidak ada yang berani menyentuhnya.

Ada orang yang melempar seluruh state ke model yang bisa mengobrol dan memintanya satu kalimat saran. Model obrolan bisa melakukan itu. Simpul itu hanya membutuhkan kecenderungan. Anda masih harus mengurai kalimat itu menjadi cabang, dan mencoba lagi ketika itu gagal. Waktu habis pada bentuk teksnya.

Otak boleh dipakai. Simpul ini tidak pantas mendapatkannya lebih dulu. Jev mengambil bentangan ini. Pertanyaan tertutup masuk, distribusi keluar. Apakah melewati garis, dan apakah dieskalasi, ditulis di kode di sampingnya. Bagaimana alur bergerak tetap urusan kode.

Pengembalian dana pecah menjadi tiga pertanyaan: apakah pengembalian dana sedang diminta, apakah permintaannya pengembalian dana, penggantian tiket, atau hanya pertanyaan tentang aturan, dan pada tingkat mana kemarahan jatuh. Noul, Choice, dan Score, melihat state yang sama. Kalimat yang tertulis di dalam kebijakan tetap di aturan. Yang tidak cocok dengan aturan dibaca dari distribusi. Balasan untuk pelanggan bukan tugasnya untuk ditulis.

Agent dipecah dengan cara yang sama. Kalimat yang akhirnya dibaca seseorang diserahkan kepada model yang bisa berbicara. Penilaian di tengah tidak seharusnya membangunkan otak di setiap langkah. Bangunkan sekali, dan langkah itu berjalan dengan waktu sebuah obrolan. Ganti penilaian itu dengan sendi, dan balasan yang keluar bisa tetap seperti semula.

Ia tidak bisa menulis artikel. Ia tidak menghasilkan teks. Masukkan topik dan nada ke dalam state, dan ia tetap hanya menjawab pertanyaan tertutup yang Anda tulis. Apakah sesuatu melenceng dari topik, itu bisa ia nilai. Kalimat-kalimatnya harus datang dari model lain.

Jangan memaksa pertanyaan terbuka ke dalam pilihan tunggal. "Apa yang sebaiknya kita lakukan selanjutnya" tidak punya sel di Choice sampai Anda selesai mendaftar caranya. Pecah lebih dulu. Yang bisa dituntaskan tetap di aturan. Yang bisa dijawab naluri, tulis sebagai tiga pertanyaan ini. Yang membutuhkan penalaran yang dibentangkan, dan seseorang yang diajak bicara sampai kata-katanya selesai, saat itulah kecerdasan masuk. Jika tidak bisa dipecah, itu belum menjadi sendi.

Ada orang yang mendengar System One sebagai penurunan. Aturan lebih rendah. System One adalah naluri di atas aturan. Ia cepat, dan ia tidak menulis penjelasan. Ia tetap harus memahami makna, kalau tidak aturan sudah cukup. Di atas itu adalah kecerdasan. Klaim kecerdasan resmi adalah "kira-kira sama" pada tugas tertutup, dan klaim kecepatannya satu sampai dua orde besaran lebih cepat. Dengan kecepatan itu, sebuah panggilan bisa duduk di dalam loop, alih-alih menunggu satu obrolan selesai.

Begitu model fondasi meratakan tugas yang bisa diajukan kebanyakan orang, sebuah produk harus ditutup menjadi antarmuka yang pasti. Jev ditutup menjadi sendi. Obrolan tidak dijual. Simpul di mana aturan tidak bisa diselesaikan, dan di mana memanggil otak akan menjadi pemborosan, adalah tempatnya.

Sumber

Seri