Lewat garis itu, saya sudah tidak bisa membedakan siapa yang lebih pintar

Garis itu diletakkan di antara Opus 4.5 dan 4.6: kebanyakan orang sudah tidak bisa mengajukan tugas di luar model. Lewat garis itu, yang masih bisa dibedakan adalah definisi produk. Jev mengeluarkan probabilitas, bukan bentangan obrolan yang lebih pintar berikutnya.

Folkbench folkbench.com

Penulis bersama: folkbench.com (Folkbench adalah platform evaluasi dan pemilihan yang dapat ditinjau untuk API AI, layanan model, dan situs terkait. Platform ini memakai informasi layanan yang sudah diterbitkan, harga, ketersediaan, latensi, dan jendela bukti untuk membantu pengguna membandingkan dan memilih jalur.)

Sepuluh tulisan dalam seri ini:

Kontes di antara model fondasi sudah tahun ketiga. Kebanyakan yang masih di meja sudah melewati sebuah garis. Garis itu tidak rendah.

Definisi saya untuknya adalah satu kalimat. Sembilan puluh persen pengguna sudah tidak bisa mengajukan tugas di luar jangkauan model. Pekerjaannya masih ada. Orang tidak berhenti meminta. Permintaan itu, model bisa menampung. Membalas surat, mengumpulkan notulen, memperbaiki satu kesalahan, mengubah setumpuk materi menjadi beberapa butir: saya sudah lama berhenti memakai ini untuk memeringkat mereka. Mereka duduk di dalam garis. Saya menempatkan pendaratan di antara Opus 4.5 dan 4.6. Di atas itu, ia kabur menjadi satu bidang.

Dua tahun sebelumnya, saya masih mengejar rilis dan beralih masuk untuk membandingkan, dengan sungguh-sungguh, siapa yang lebih kuat. Tahun ini saya berhenti membandingkan. Papannya masih diperbarui. Pekerjaan di tangan saya tidak bertambah satu tingkat lagi.

Setelah beralih, yang tersisa hanya perasaan

Sebelum garis, saya bisa membedakan. Apakah karya panjang akan buyar, saya tahu dengan beralih model. Apakah syarat yang lebih awal masih ada begitu langkah menumpuk, saya bisa merasakannya dalam minggu itu. Setelah garis, saya tidak bisa merasakan perbedaan kemampuan. Beralih model sering hanya menyisakan kesan bahwa ia menjadi sedikit lebih baik. Lebih baik dalam hal apa, saya tidak bisa mengatakan.

Pekerjaan jenis yang sama masih membutuhkan pengerjaan ulang saya bulan lalu, dan bulan ini ia lolos. Catatan rapat masuk, dan hal yang harus dikerjakan keluar. Dua vendor keluar selisih satu atau dua baris, dan keduanya terlihat bisa dipakai oleh saya. Kode sama. Tempelkan sebuah kesalahan, dan keduanya bisa memberi perubahan. Kadang saya merasa salah satunya lebih bersih, dengan diff yang lebih kecil. Saya tidak bisa menunjuk pembaruan di mana mereka terpisah. Jika harus memilih, saya memilih perubahan yang lebih kecil. Tidak ada hari di tengah yang bisa saya tunjuk dan katakan, dari sini ia bisa melakukan ini. Penambahannya terus datang. Terlalu halus untuk diingat hari-hari saya.

Jadi saya lebih jarang beralih model untuk hal ini. Siapa yang lebih pintar pada tingkat berikutnya, saya tidak bisa membedakan.

Ini yang masih bisa saya bedakan

Hal pertama yang bisa saya rasakan adalah bentuk yang ia keluarkan. Yang mengeluarkan teks, saya perlakukan sebagai lawan bicara. Saya menyerahkan catatan yang berantakan dan menyuruhnya mengumpulkan beberapa hal yang harus dikerjakan. Saya membacanya sekali, mengubah beberapa kata, dan melemparkannya kembali jika tidak puas. Bolak-balik itu sudah akrab. Suara adalah jalur lain. Saya berbicara kepadanya, dan ia berbicara kembali. Saya tidak banyak memakainya. Saya menyalakannya saat sedang di jalan. Saat saya perlu mengubah kata, saya kembali ke teks yang bisa disalin. Bentuk ini saya kenali.

Yang mengeluarkan tindakan lebih berbeda. Ia mengoperasikan komputer dan mengklik sebuah alur sampai selesai sendiri. Saya melihat tangannya. Klik di tempat yang salah, dan selengkap apa pun kata sesudah itu, tidak menolong. Ada jenis lain yang hanya memberi probabilitas. Jev adalah jenis itu. Ia tidak mengeluarkan teks, dan ia tidak mengoperasikan komputer. Saya sudah bertemu semuanya. Saya bisa membedakannya karena cara saya mengambil alih berbeda.

Perangai dan selera juga memisahkan orang. Serahkan materi yang sama, dan ada yang menulisnya sangat penuh, menambah satu kalimat di tepi, takut saya tidak paham. Yang lain berhenti di sini dan menyerahkan penilaian kepada seseorang. Siapa yang saya simpan sering bergantung pada apakah perangai itu pas di tangan saya. Yang berhenti di tempat yang tepat, saya simpan di jendela yang saya buka setiap hari. Skor yang lebih tinggi di sampingnya, dan saya tetap jarang beralih jendela demi skor itu.

Biaya dan latensi dirasakan bersama-sama. Pada bentangan mana kurva biaya ia duduk, dan pada bentangan mana kurva latensi, dua kali pakai sudah cukup untuk tahu. Mengobrol dengan seseorang, saya bisa menahan menunggu sedikit lebih lama. Seseorang memang harus berhenti sebentar. Letakkan pada alur yang berjalan berulang-ulang, dan menunggu menjadi penyumbatan. Cukup lambat sampai saya bisa menuang segelas air, dan ia hanya pantas di percakapan. Cukup mahal sampai saya tidak berani memanggilnya sekali lagi, dan ia tidak bisa masuk ke langkah yang kecil dan rapat. Jika murah, dan ia kembali cepat, maka saya berani menghamparkannya. Jika yang kembali adalah penggal yang harus saya baca sampai selesai, murah tidak menolong. Saya tetap tidak bisa memasukkannya ke loop.

Penolakan juga perbedaan. Apa yang ia tolak, dan bagaimana ia menolak, tampak setelah dipakai beberapa lama. Ada yang menolak langsung, dengan sangat sedikit kata. Saya tahu jalannya tertutup, saya mengubah permintaan, dan satu kalimat yang diubah cukup untuk melanjutkan. Ada yang tidak mengatakannya. Mereka memutarinya dan menyerahkan pekerjaan yang sudah bengkok. Saya masih akan mengira saya tidak mengatakannya dengan jelas, dan menggiling satu putaran lagi pada hasil yang buruk. Yang saya lihat sekarang adalah apakah saya berani menyerahkan pekerjaan ini kepadanya lain kali.

Model baru menyatakan tempatnya lebih dulu

GPT-6 membuat dunia mengenali computer use lagi. Mengoperasikan komputer diletakkan kembali di depan sebuah rilis. Yang saya pedulikan bukan bahwa model bisa memakai tetikus sebelumnya. Lewat garis, itu tidak lagi baru. Dulu saya menonton rilis untuk satu tingkat ketinggian lagi. Kali ini saya mengubah pertanyaannya. Perusahaan yang merilis model baru harus memikirkan ceruknya sendiri lebih dulu: untuk siapa, dan dalam hal apa ia sangat baik. Ia tidak harus berdiri dan mengatakan bahwa ia adalah tingkat berikutnya yang lebih pintar.

Jev adalah ekstrem yang benar-benar saya sentuh baru-baru ini. Ia tidak bersaing dengan Opus dalam menulis. Menulis, ia tidak mengambil. Yang ia tempati adalah sendi. Materi sampai pada titik di mana keputusan harus dibuat, pertanyaannya tertutup, dan opsinya diberikan lebih dulu. Yang kembali adalah probabilitas. Ia kembali sekaligus. Di sisi obrolan saya masih beralih ke jendela lain dan menunggu. Di sini saya tidak harus beralih pergi. Hasilnya sudah kembali. Keluaran semacam ini tidak ditagih. Yang saya lempar bukan "tuliskan satu paragraf untuk saya". Ia adalah penilaian yang sudah dilingkari: apakah jalur ini jalan, dan seberapa yakin. Setelah probabilitas kembali, yang mengambil alih adalah program, bukan saya yang duduk membaca sampai selesai lalu memutuskan. Saya tidak punya keinginan untuk mengobrol dengannya. Tempat itu tidak dicadangkan untuk obrolan. Model obrolan bisa pergi lebih jauh ke atas, dan yang mereka keluarkan tetap teks. Jev menghapus langkah membangkitkan teks. Ini bukan obrolan yang lebih pintar. Ini jenis produk yang lain.

Di antara perusahaan model, saya sekarang melihat rute, dan apakah definisi produk bisa dijalankan sampai tuntas. Bagaimana sebuah model dirancang sekarang bermuara pada dua hal itu. Bukan nama pertama di papan yang memutuskan. Nama di papan berubah setelah beberapa waktu. Apa yang hendak dikeluarkan sebuah model, begitu bentuknya tetap, pelatihan dan antarmuka mengikuti, dan penetapan harga juga mengikuti.

Rute lain, tulisan ini hanya membawa satu kalimat. Ada yang mendorong rekayasa sampai ke ekstrem. Ada yang berbelok dan membangun suite vertikal. Sisanya sama sekali tidak berbicara, dan terus mendorong model umum. Suite khusus dari DeepSeek dan Kimi tidak dibentangkan di sini. Mereka ditulis di JEV - Model yang disederhanakan, sebuah suite, dan satu yang tidak berbicara.

Lewat garis itu, saya sudah tidak bisa membedakan siapa yang lebih pintar. Ketika saya beralih, tetap bisa terasa sedikit lebih baik. Perasaan itu tidak cukup bagi saya untuk memilih. Yang bisa saya bedakan adalah definisi produk. Apakah Anda mengeluarkan teks, mengeluarkan tindakan, atau hanya mengeluarkan probabilitas.

Sumber

Seri