Sendi tidak membutuhkan otak

Penulis bersama: folkbench.com (Folkbench adalah platform evaluasi dan pemilihan yang dapat ditinjau untuk API AI, layanan model, dan situs terkait. Platform ini memakai informasi layanan yang sudah diterbitkan, harga, ketersediaan, latensi, dan jendela bukti untuk membantu pengguna membandingkan dan memilih jalur.)

Sepuluh tulisan dalam seri ini:

• JEV - Sendi tidak membutuhkan otak
• JEV - Pelumas pada simpul kendali
• JEV - Dari BERT kembali ke satu distribusi
• JEV - Merancang pertanyaan tertutup, bukan mantra
• JEV - Buku anti-token tidak merilisnya lebih dulu
• JEV - Dua demo yang hanya mengembalikan distribusi
• JEV - Keluar dari loop: keyakinan ditulis ke kode
• JEV - Setelah garis, lebih pintar bukan lagi produknya
• JEV - Intuisi dan nalar: pertanyaan yang bukan miliknya
• JEV - Dari layar ke probabilitas semata

Menghabiskan komputasi sebesar satu perpustakaan nasional untuk memutuskan apakah seekor anjing harus mengeluarkan air liur saat mendengar bel, itulah bentuk banyak simpul sekarang. Pekerjaannya adalah belahan dua arah: kalimat ini masuk ke pengurai faktur bahasa Tionghoa, atau ke pengurai kuitansi bahasa Inggris. Gantungkan model yang suka menalar di depan umum, dan ia menulis beberapa ratus token perdebatan, lalu satu label. Waktu masuk ke teks. Uang juga.

Biologi sudah menjawab. Jika setiap langkah menunggu korteks menyelesaikan hitungan, tidak ada yang menyeberangi padang rumput. Lutut bertemu tanah dan menekuk.

Sendi tidak membutuhkan otak. Sendi membutuhkan refleks.

Jev dipotong untuk tempat itu. Ia tidak menghasilkan teks bebas. Pertanyaan tertutup masuk. Distribusi keluar.

Penilaian yang diseret teks

Model besar saat ini lambat dan mahal di produksi karena mereka dituntut berpikir dan berbicara dalam putaran bahasa alami yang sama. Yang diinginkan adalah ya, distribusi, atau sebuah tingkat. Jalan yang didapat adalah token masuk, komputasi tersembunyi, lalu penguraian satu token setiap kali, lalu ekspresi reguler mengail jawaban dari dalam kalimat.

Setiap spasi dan setiap koma ada di tagihan. Penguraian autoregresif tidak terparalelkan dengan bersih. Agar model «mengeluarkan JSON dan tidak ada penjelasan», instruksi bertambah satu blok pengekang lagi. Seperti menulis «saya sekarang melangkah dengan kaki kiri» sebelum setiap langkah.

Sebagian besar putaran kecil dalam sistem produksi tidak membutuhkan paragraf itu. Prosa adalah untuk manusia. Mesin menginginkan probabilitas.

Refleks yang tidak berbicara

Jev tidak punya mulut, sejak rancangannya. Sepotong keadaan masuk. Ia tidak memulai putaran token. Ia membagi probabilitas di atas jawaban tertutup yang sudah dicantumkan. Tiga jenis pertanyaan adalah jenis yang sama dengan yang dipakai tulisan berikutnya. Jangan ganti namanya:

• Ya atau tidak, Noul. Yang kembali adalah probabilitas «ya», dari 0 sampai 1. Bukan nilai kosong, dan bukan sinyal penolakan.
• Pilihan tunggal, Choice. Opsi ditetapkan lebih dulu, paling banyak 255. Ia tidak mengarang opsi yang tidak ada di daftar.
• Tingkat berurutan, Score. Dari 2 sampai 10 anak tangga, setiap anak tangga ditulis sebagai kasus yang konkret.

Ini adalah refleks lutut. Palu mengenai ligamen. Sinyal tidak harus sampai ke korteks sebelum tungkai bawah bergerak. Penjelasan tidak diperlukan. Yang diperlukan adalah hasil yang tertutup, dan kecepatan yang bisa duduk di dalam putaran.

Rentang ujung ke ujung yang dipublikasikan adalah sekitar 70 sampai 500 milidetik. Masukan berharga $0.042 per juta token. Keluaran tidak ditagih. Ujung yang cepat dan ujung yang lambat sama-sama hidup di rentang itu. Jangan menggambarkannya sebagai beberapa milidetik, dan jangan menggambarkannya sebagai satu giliran obrolan. Pada penilaian tertutup System One, kemampuan berada di pita yang sama dengan model besar saat ini, dan kecepatannya lebih tinggi 1 atau 2 orde besaran. «Pita yang sama» hanya berlaku untuk penilaian tertutup.

Model yang bisa mengobrol duduk di markas dan menjelaskan mengapa kampanye itu ada. Jev duduk di ujung jari dan di lutut. Ketika sesuatu terbang ke arah kepala, kepala yang bergerak lebih dulu.

Tiga lapisan, bukan dua

Potongan yang biasa adalah dua lapisan: apa pun yang bisa ditulis sebagai if tetap di kode, dan segala yang kabur dilempar ke model obrolan. Simpul yang kabur menanggung biaya dan waktu tunggu sekaligus. Potongan yang cocok dengan produk ini punya tiga lapisan:

       ┌────────────────────────────────────────┐
       │             3. Intelligence             │
       │  open reasoning, prose, talking to a    │
       │  person                                  │
       └───────────────────▲────────────────────┘
                           │ this question will not split; go up
       ┌───────────────────┴────────────────────┐
       │             2. Reflex (Jev)             │
       │  closed questions, fixed options,        │
       │  a distribution or a score               │
       └───────────────────▲────────────────────┘
                           │ the rule missed; hand it to reflex
       ┌───────────────────┴────────────────────┐
       │             1. Rules                    │
       │  branches whose edges are already        │
       │  written                                 │
       └────────────────────────────────────────┘

Lapisan aturan

Tulang. Ekspresi reguler, pohon sintaksis, algoritma yang tepinya sudah tertulis. Instruksi CPU. Kecocokan adalah kecocokan.

Lapisan refleks

Otot dan sendi. Pergeseran nada yang kecil, antrean mana yang harus dimasuki sebuah maksud, apakah sebuah kalimat boleh lewat, apakah konteks masih tentang hal yang sama. Aturan tidak bisa menghabiskan daftar, tetapi orang yang terlatih condong ke satu sisi dalam sekali pandang. Simpul-simpul ini tidak lagi membangunkan otak lebih dulu. Jev tidak menulis penjelasan. Ia mengembalikan sebuah probabilitas, atau satu distribusi utuh. Cukup ringan untuk hidup di dalam putaran.

Lapisan kecerdasan

Korteks. Data naik ke sini hanya ketika pertanyaan tertutup tetap tersebar dan seseorang masih harus mendengar alasannya. Rantai pemikiran, balasan panjang, dan rencana banyak langkah tinggal di sini. Surat kepada pelanggan bukan pekerjaan sendi.

Tiga lapisan tidak mengeluarkan model besar dari sistem. Mereka berhenti memakainya untuk memutar setiap sekrup.

Alat yang baik menghilang

Ketika palu pas di tangan, perhatian tinggal di paku. Palu adalah perpanjangan lengan. Ketika palu berat, panas, atau menyanyikan satu bait setelah setiap pukulan, ia berhenti menjadi alat dan menjadi penghalang.

Model obrolan beberapa tahun terakhir terlalu terlihat. Kepribadian kuat, terlalu banyak kata, irama yang lambat. Dipasang di rangkaian roda gigi, setiap gigitan datang dengan gesekan yang lengket.

Jev adalah kutub yang lain: lebih sempit, lebih cepat, lebih murah, dan tidak minta dibaca. Satu kutub tetap model yang sangat besar, yang melakukan pemikiran mahal di pusat data. Kutub yang lain tersebar di samping protokol, antrean, dan sensor, seperti sendi. Mereka tidak menjelaskan diri. Mereka menyelesaikan kontraksi dan pelepasan.

Yang telah menopang sistem adalah sendi yang tidak harus berpikir.

Seri

• Berikutnya: JEV - Pelumas pada simpul kendali