Ada pertanyaan yang tidak seharusnya ditanyakan kepadanya

Setelah memakainya, pertanyaan yang bukan miliknya adalah penjelasan, balasan untuk dibaca orang, mengarang nama di himpunan terbuka, dan menyimpan jejak penalaran. Yang memang miliknya tetap ya-tidak tertutup, kategori, tingkat, dan apakah perlu dieskalasi.

Folkbench folkbench.com

Penulis bersama: folkbench.com (Folkbench adalah platform evaluasi dan pemilihan yang dapat ditinjau untuk API AI, layanan model, dan situs terkait. Platform ini memakai informasi layanan yang sudah diterbitkan, harga, ketersediaan, latensi, dan jendela bukti untuk membantu pengguna membandingkan dan memilih jalur.)

Sepuluh tulisan dalam seri ini:

Setelah memakainya, yang paling jelas bagi saya bukan apa yang bisa dilakukan Jev. Yang paling jelas adalah jenis pembicaraan mana yang tidak seharusnya saya tanyakan kepadanya.

Saya menganggapnya sendi, bukan mulut. Naluri hanya bisa menjawab pertanyaan yang bisa dijawab naluri. Yang harus dibentangkan, atau yang harus membentangkan penalaran agar dilihat seseorang, adalah objek yang salah jika Anda bertanya kepada Jev. Mengatakan sesuatu sampai selesai kepada seseorang juga permintaan yang salah. Ia tidak punya string. Tanya, dan tidak ada tempat untuk meletakkan jawabannya.

Yang tidak seharusnya saya tanyakan

Jika Anda juga datang dari model obrolan, hal yang paling mudah ditanyakan dengan salah adalah jenis di bawah ini.

Saya tidak seharusnya memintanya menjelaskan mengapa. Kebiasaan yang saya bawa dari obrolan adalah membuka dengan memintanya menjelaskan. Kebiasaan itu tidak berlaku padanya. Ketika saya memintanya menjelaskan, yang tiba hanya penilaian. Alasan harus ditulis sebagai kalimat. Ia tidak bisa menulisnya. Kembalian tidak punya "karena". Jika seseorang perlu melihat bagaimana sebab tiba, ia tidak bisa memberikannya. Jika saya benar-benar membutuhkan bentangan alasan, saya menulisnya sendiri, atau saya meminta model yang bisa berbicara, dan menyuruhnya menulis dari penilaian yang sudah dibuat.

Saya pernah memintanya, dengan salah, menulis balasan untuk dibaca seseorang. Yang harus dikirim adalah satu penggal. Kalimat mana yang lebih dulu, dan seberapa berat nadanya, hidup di dalam kata. Yang ia berikan adalah opsi dan probabilitas. Itu tidak cocok dengan penggal yang harus dikirim. Setinggi apa pun probabilitasnya, yang kembali adalah salah satu butir yang saya berikan lebih dulu, bukan penggal yang ia tulis sekarang. Kemudian saya membalik urutannya. Ia hanya menilai jenis apa benda ini, dan apakah langkah ini harus dieskalasi. Kalimatnya pergi ke model obrolan, atau saya menulisnya sendiri.

Saya pernah memintanya memikirkan sebuah nama sendiri di dalam himpunan terbuka. Nama yang bisa dipakai banyak, dan hanya sepotong kecil yang ditulis ke dalam pertanyaan. Ia hanya bisa memilih di antara butir yang saya berikan. Yang tidak ada di antara butir, ia tidak bisa menghasilkan. Jika saya tidak bisa menamai kandidat sendiri, belum gilirannya. Saya menyempitkan dengan aturan lebih dulu, atau saya menarik segenggam kecil dengan pengambilan, lalu saya menutup pertanyaannya. Kemudian saya mengubah penamaan menjadi begini: saya menetapkan beberapa kandidat sendiri, lalu membiarkannya memilih. Yang sama sekali baru di luar daftar, saya serahkan ke langkah yang bisa berbicara.

Ada jenis lain yang terlihat seperti pekerjaan berat yang seharusnya diberikan kepada model. Buktinya harus dibolak-balik, dan penalarannya harus disimpan. Materi saling mendorong. Anda ingin ia memilih sisi, dan Anda juga ingin ia menyimpan bagaimana kecocokan itu dibuat. Ia tidak punya bolak-balik itu. Satu permintaan adalah penilaian cepat dari apa yang saya masukkan ke state. Prosesnya tidak menjadi teks yang bisa dibolak-balik. Bolak-balik yang saya maksud sering kali kesimpulan yang bergantung pada halaman berikutnya, dan halaman itu belum ada di state. Ketergantungan itu saya letakkan di kode. Tanyakan satu penilaian tertutup lebih dulu, lalu saya pergi mengambil bukti, dan ketika kembali saya mengubah state dan bertanya lagi. Urutan halaman mana yang dilihat lebih dulu, dan apa yang disingkirkan, ia tidak bisa menulis. Jika jejak harus disimpan, saya memberikannya kepada model yang bisa berbicara.

Yang seharusnya saya tanyakan

Yang seharusnya saya tanyakan, sekarang saya hanya mengenali beberapa bentuk. Apakah ini jenis ini, saya tanyakan langsung. Kategorinya harus yang saya tetapkan lebih dulu, dan ia hanya harus menunjuk satu. Keparahan, saya tidak membiarkannya melaporkan angka yang halus. Saya menggambar tingkatnya, dan saya membiarkannya mengatakan tingkat mana yang ia pijak. Eskalasi, apakah langkah ini harus diserahkan kepada seseorang, juga pertanyaan tertutup, dan saya menanyakannya dalam lintasan yang sama. Bentuk di luar ini, saya tidak memasukkannya ke dalamnya.

Saya juga menyimpan penggaris yang kasar. Jika seseorang yang memahami perkara itu bisa menunjuk, dengan naluri, sambil melihat state ini, maka itu terlihat seperti pertanyaannya. Jika menunjuk masih membutuhkan deduksi yang panjang, saya menyerahkannya langsung kepada model yang bisa berbicara.

Saya menyiapkan state. Saya menutup pertanyaan. Saya memilih bidang yang masuk ke konteks, dan saya tidak membawa yang tidak relevan dengan pertanyaan ini. Batas opsi dan tingkat ditulis di pertanyaan, bukan di tempat saya berharap ia berimprovisasi. Ia tidak bertanggung jawab merapikan pertanyaan yang terbuka, dan ia tidak membalik halaman materi berikutnya untuk saya. Balik halaman, dan state sudah berubah. Itu permintaan berikutnya, dan saya tetap harus menyiapkannya.

Saya pernah menginjak pertanyaan yang tidak tertutup dengan baik. Distribusinya merata. Beberapa opsi berdesakan, dan tidak ada yang berdiri lebih tinggi. Mula-mula saya menganggapnya lambat. Bukan. Saya sudah memberi sendi piston milik sebuah mulut. Opsi saling tumpang tindih, atau situasi yang benar-benar akan terjadi tidak ditulis ke dalam daftar, dan probabilitas hanya bisa tersebar. Lalu ubah pertanyaannya, atau serahkan langkah itu kembali kepada model yang bisa berbicara. Mengubah pertanyaan berarti menggabungkan butir yang tumpang tindih, dan memberi kasus yang tidak tercakup sebuah "bukan salah satu dari ini". Menyerahkannya kembali berarti membiarkan model yang bisa berbicara mengatakan situasinya dengan jelas lebih dulu, lalu saya memutuskan apakah menutupnya lagi. Jangan terus menyetelnya. Selama pertanyaan masih terbuka, distribusinya masih tersebar.

Choice dan Score

Saya berusaha tidak mengisi Choice sampai 255. Batas resmi adalah 255. Di luar itu, mereka sendiri harus memberi skor lebih dulu lalu memilih, dan itu juga menjadi lebih lambat. 255 bukan angka yang saya isi di sini. Semakin banyak kasus tepi yang saya daftarkan sebagai opsi, semakin pertanyaan itu terlihat seperti daftar yang tidak pernah tertutup. Jika pertanyaan saya secara alami punya ratusan pintu keluar, saya lebih dulu bertanya apakah aturan bisa memotong kandidat, dan apakah pengambilan bisa memotongnya. Segenggam kecil tidak punya hitungan yang tetap. Saya masih bisa membedakan, dalam sekali lirik, bagaimana butir-butir ini berbeda, dan baru saat itu potongannya cukup jauh. Jika sekali lirik tidak bisa membedakannya, saya mengirim permintaan terlalu awal. Potong sampai segenggam kecil, lalu saya membawanya untuk dipilih.

Saya memperlakukan Score sebagai tingkat berurutan, bukan sebagai desimal pasti yang kontinu. Ketika saya menulis pertanyaan, saya biasanya menggambar tingkat dari 2 sampai 10. Yang saya inginkan adalah tingkat, bukan ketepatan palsu seperti 7.63. Saya menulis tingkat dengan kata yang biasa. Apakah tingkat ini dan yang berikutnya akan ditangani secara berbeda, saya pikirkan lebih dulu. Jika ya, saya memecahnya. Jika kedua tingkat berakhir dengan memicu kode yang sama, saya menggabungkannya menjadi satu tingkat. Tidak ada cabang di kode yang menunggu dua digit sesudah desimal. Kadang ia mendaratkan angka di antara dua tingkat, dan saya tetap membacanya sebagai tingkat, dengan ambang yang ditulis di kode. Jika arti sebuah tingkat tidak bisa ditulis dengan jelas, saya mengubah deskripsi tingkatnya. Saya tidak mengutak-atik desimalnya.

Sambil menonton demo

Saya menonton demo Doom resmi dan lomba Wikipedia, dan saya tidak memakainya untuk menyimpulkan pertanyaan saya sendiri. Menonton Doom, saya mudah terbawa layar. Layarnya terlihat seperti permainan yang sedang dimainkan. Yang masuk adalah state terstruktur, bukan gambarnya. Di sisi Doom skalanya sekitar 10 kueri per detik, sekitar $7 per jam. Skala itu hanya menunjukkan bahwa sendi waktu nyata bertahan, dan bahwa sebuah loop bisa berputar pada kerapatan itu. Itu tidak menunjukkan bahwa ia bisa memainkan permainan. Gambarnya tidak dimakan. Langkah berikutnya adalah kode di luar, yang bertanya dengan state.

Lomba Wikipedia menunjukkan bahwa memilih tautan pada kardinalitas tinggi itu berguna. Itu tidak menunjukkan bahwa ia menjelajah web lebih baik daripada model yang bisa menalar. Di bawah perbandingan non-penalaran, ia mengambil lebih sedikit langkah. Itu karena sisi lain tidak menyalakan penalaran, jadi demonstrasinya terlihat lebih baik. Nyalakan penalaran, dan demonstrasinya terlihat kurang baik. Hitungan langkah berubah, dan siapa yang lebih cepat berubah. Saya tidak akan membawa "lebih sedikit langkah" kembali ke tugas saya sendiri dan memperlakukannya sebagai lebih pandai menemukan jalan. Apakah jalan berlanjut, dan di mana ia berhenti, tetap diputuskan oleh program di luar. Saya menganggap ini sebagai: jangan menilai segala sesuatu dari mainan. Apakah sebuah demonstrasi enak ditonton tidak memutuskan, bagi saya, kalimat mana yang seharusnya saya tanyakan berikutnya.

Ketika saya memakainya sendiri, pemisahannya cukup keras. Yang bisa dituntaskan, dan yang syaratnya stabil, saya tetap tulis sebagai aturan. Saya tidak pergi menanyakannya. Yang bisa dijawab naluri dalam satu titik, saat itulah saya menanyakannya. Sebelum saya bertanya, pertanyaan harus tertutup, dan saya harus bisa menyiapkan state. Ketika tiba saatnya membuka dan mengatakan isinya, saya memberikannya kepada model obrolan. Tanya yang salah, dan kelambatan serta biayanya adalah masalah saya.

Sumber

Seri