JEV - Dari BERT kembali ke satu distribusi

"Tidak bisa berhalusinasi" hanya menutupi pertanyaan tertutup: jawaban tidak bisa keluar dari himpunan yang ditetapkan, dan di dalamnya masih bisa salah. Jev menyimpan semantik generasi ini dan mengembalikan satu lintasan maju serta satu distribusi.

JEV - Dari BERT kembali ke satu distribusi

Penulis bersama: folkbench.com (Folkbench adalah platform evaluasi dan pemilihan yang dapat ditinjau untuk API AI, layanan model, dan situs terkait. Platform ini memakai informasi layanan yang sudah diterbitkan, harga, ketersediaan, latensi, dan jendela bukti untuk membantu pengguna membandingkan dan memilih jalur.)

Sepuluh tulisan dalam seri ini:

"Tidak bisa berhalusinasi" bukan slogan. Itu menutupi satu lapisan: jawaban harus mendarat di dalam himpunan yang Anda tetapkan lebih dulu. Label di luar himpunan itu tidak bisa diciptakan. Di dalam himpunan, probabilitas masih bisa salah. Esai ini mengembalikan batas itu ke dalam sejarah klasifikasi. Jev tampak seperti pengklasifikasi umum tahun-tahun sebelum GPT, dengan semantik generasi ini dan dengan keluaran yang kembali ke satu lintasan maju dan satu distribusi.

Apa yang dibayar tahun-tahun pengklasifikasi

Dari 2018 sampai 2021, banyak kerja NLP adalah klasifikasi: maksud, pengarahan, sentimen, label domain. BERT, RoBERTa, dan XLNet adalah alatnya. Penyandi dua arah meninggalkan LSTM dan SVM, dan membawa tiga utang rekayasa.

  1. Label lapar. Setelah pra-pelatihan, tugas seperti maksud keuangan masih menginginkan ribuan contoh yang bersih. Satu label halus lagi berarti satu putaran lagi pembersihan, anotasi bersama, dan penambahan data.
  2. Rumusan yang belum pernah terlihat jatuh. Pengklasifikasi itu memasang batas keputusan. Mereka tidak tahu apa arti label itu.
  3. Satu set bobot per tugas. Puluhan kebutuhan klasifikasi berarti puluhan instans, dan versi, memori, serta rilis menumpuk bersama.

Yang kurang adalah sesuatu yang mengerti kalimat itu dan bisa mengembalikan probabilitas untuk definisi yang baru Anda tulis, tanpa melatih kepala baru untuk setiap label.

Daya berlebih dari model generatif

Garis GPT membuat klasifikasi tampak selesai. Satu kalimat, "nilai sentimennya dan kembalikan JSON", dan model tanpa contoh sering menamai sebuah kelas. Produksi menunjukkan wajah yang lain.

  • Format masih rantai probabilitas. Untuk mendapat label, Anda meminta JSON atau XML yang sah. Model generatif yang kuat masih punya peluang kecil menulis satu kalimat lebih, dan pengurai putus.
  • Biaya terikat pada panjang. Label beberapa karakter duduk di belakang instruksi yang panjang dan penguraian token demi token. Dalam pemeriksaan risiko langsung dan pengarahan daring, itu memakai meriam kepung untuk nyamuk.

Kita mendapat pemahaman semantik yang kuat, lalu menyambungkan pipa keluaran yang lambat dan rapuh, hanya untuk mendapat satu kelas. Jika "tidak bisa berhalusinasi" menunjuk pipa itu, model generatif tidak melepasnya. Mereka hanya menjadi lebih pandai menulis halusinasi sehingga terdengar seperti kalimat.

Satu lintasan maju, satu distribusi

Jev berdiri di antara keduanya: ia menginginkan semantik generasi ini dan perilaku dengan sedikit contoh, ia tidak menginginkan pembangkitan teks, dan ia kembali ke bentuk keluaran pengklasifikasi.

Dari memasang ciri ke menyelaraskan makna

Pengklasifikasi lama memotong lipatan di ruang vektor. Ubah labelnya, dan mereka harus dipasang lagi. Jev membaca keadaan yang akan diklasifikasi bersama definisi bahasa alami tiap label. Anda menulis apa arti satu anak tangga, dan ia menaruh probabilitas pada anak tangga itu, tanpa pembaruan gradien untuk label yang baru. Pemahaman milik era generatif. Keluarannya tidak.

Ia tidak lagi menghasilkan token demi token

Pembangkitan lambat karena setiap token adalah lintasan maju yang lain. Jev tidak menulis karakter {"category": "A"}. Dalam satu lintasan maju ia menyebar probabilitas ke para kandidat. Pergeseran format hilang sebagai jenis kegagalan: tidak ada untaian, jadi tidak ada untaian yang bisa patah.

Itulah lapisan yang benar-benar dinamai "tidak bisa berhalusinasi". Ia tidak bisa menciptakan pilihan di luar daftar, dan tidak bisa menambahkan penjelasan setelah jawaban. Ia masih bisa memberi probabilitas yang salah di dalam daftar. Kalibrasi bertanya apakah keyakinan yang ia laporkan bergerak bersama seberapa sering ia benar. Ia tidak menjanjikan bahwa kelasnya selalu benar.

Apa yang operasi tidak lagi pegang

Dimensi Tahun-tahun BERT Model generatif Jev
Data Penyetelan halus pada himpunan berlabel yang besar Sedikit contoh, lewat instruksi Sedikit contoh, lewat definisi bahasa alami dari label
Keluaran Kepala klasifikasi, format tetap Menghasilkan, dan format bisa patah Sebuah distribusi, tanpa format yang bisa patah
Kecepatan Penyandi, milidetik Tumbuh bersama panjang yang dihasilkan Ujung ke ujung yang dipublikasikan sekitar 70–500 ms, dan tidak tumbuh bersama kalimat jawaban
Semantik Mudah ditarik kata di permukaan Dalam Dalam, tetapi hanya ke label yang Anda beri
Operasi Satu set bobot per tugas Instruksi dan pengurai Satu model; definisi label berubah bersama permintaan

Tugas lama tidak usang

Kembali ke klasifikasi teks terasa akrab. Alat di bawahnya bukan lagi yang tumpul.

  • Anda tidak melatih satu putaran lagi karena 500 label salah.
  • Anda tidak membungkus JSON yang rusak bentuknya dalam try-catch.
  • Anda meneruskan keadaan, menulis apa arti tiap pilihan, dan membawa pulang sebuah distribusi.

Dari BERT ke model generatif lalu ke keluaran terstruktur ini, tugas klasik tidak pergi. Yang pergi adalah "untuk mendapat satu label, tulis dulu satu paragraf". "Tidak bisa berhalusinasi" berhenti di lapisan ini. Di atasnya, kelas yang salah, pertanyaan yang tidak dipecah, dan pertanyaan terbuka yang tidak seharusnya ditanyakan masih ada. Slogan itu tidak menutupinya.

Seri