За этой чертой я уже не различаю, кто умнее

Черту я ставлю между Opus 4.5 и 4.6: большинство людей уже не может поставить задачу за пределами модели. За ней различимо определение продукта. Jev выдаёт вероятность, а не следующий кусок более умного чата.

Folkbench folkbench.com

Соавтор: folkbench.com (Folkbench — проверяемая платформа оценки и выбора для API ИИ, модельных сервисов и связанных сайтов. Она опирается на опубликованные сведения о сервисе, цены, доступность, задержку и окна доказательств, чтобы помочь пользователям сравнить варианты и выбрать путь.)

Десять текстов в этой серии:

Состязание фундаментальных моделей идёт третий год. Большинство тех, кто ещё за столом, перешли черту. Черта не низкая.

Моё определение её — одна фраза. Девяносто процентов пользователей уже не могут поставить задачу вне досягаемости модели. Работа всё ещё там. Люди не перестают спрашивать. Эти просьбы модели берут. Ответить на почту, собрать протокол, починить одну ошибку, свернуть кучу материала в несколько пунктов: я давно перестал этим их ранжировать. Они сидят внутри черты. Посадку я ставлю между Opus 4.5 и 4.6. Выше этого смазывается в одно пятно.

Два года до этого я всё ещё гнался за релизами и переключался, чтобы всерьёз сравнить, кто сильнее. В этом году я сравнивать перестал. Доски всё ещё обновляются. Работа в моих руках не получила ещё одного яруса.

После смены остаётся только ощущение

До черты я различал. Разъедется ли длинный кусок, я знал, сменив модели. Остаются ли ранние условия, когда шаги громоздятся, я чувствовал в пределах недели. После черты разницу в способности я почувствовать не могу. Смена модели часто оставляет только впечатление, что стало чуть лучше. Лучше в чём, я сказать не могу.

Та же работа в прошлом месяце требовала моей переделки, а в этом месяце проходит. Заметки совещания входят, и дела, которые надо сделать, выходят. У двух поставщиков выходит на строку-две врозь, и оба мне выглядят пригодными. С кодом так же. Вставьте ошибку — и оба могут дать правку. Иногда я чувствую, что один из них чище, с меньшей разницей. Я не могу указать обновление, на котором они разошлись. Если надо выбрать, я выбираю меньшую правку. Посередине нет дня, на который я могу указать и сказать: отсюда оно это умеет. Приращения всё приходили. Они слишком мелкие, чтобы мои дни их помнили.

Поэтому я реже менял модели ради этого. Кто умнее на следующем ярусе, я различить не могу.

Вот это я ещё различаю

Первое, что я могу нащупать, — форма того, что оно выдаёт. То, что выдаёт текст, я принимаю за того, с кем говорить. Я отдаю ему путаную запись и велю собрать несколько дел, которые надо сделать. Я читаю один раз, меняю несколько слов и бросаю назад, если не доволен. Этот круговой ход знаком. Голос — другой путь. Я говорю ему, и оно говорит в ответ. Я пользуюсь им немного. Я включаю его, пока я в пути. В миг, когда надо менять слова, я возвращаюсь к тексту, который могу скопировать. Эту форму я узнаю.

То, что выдаёт действия, отличается сильнее. Оно управляет компьютером и само прощёлкивает поток. Я смотрю на его руки. Щёлкни не туда — и как бы ни были полны слова после этого, они не помогают. Есть ещё род, который даёт только вероятность. Jev — этот род. Он не выдаёт текст и не управляет компьютером. Я встречал всё это. Я могу их различить, потому что способ, которым я принимаю, разный.

Характер и вкус тоже разделяют людей. Отдайте один и тот же материал, и одни пишут его очень полно, добавляя фразу на краю, боясь, что я не пойму. Другие останавливаются здесь и оставляют суждение человеку. Кого я оставляю, часто зависит от того, ложится ли этот характер в руку. Того, кто останавливается в верном месте, я держу в окне, которое открываю каждый день. Более высокий балл рядом, и я всё равно редко меняю окно ради балла.

Цену и задержку чувствуют вместе. На каком отрезке кривой цены оно сидит и на каком отрезке кривой задержки, двух использований достаточно, чтобы знать. В разговоре с человеком я могу выдержать чуть более долгое ожидание. Человеку всё равно надо остановиться. Поставьте его на поток, который бежит снова и снова, и ожидание становится затором. Достаточно медленно, чтобы я мог пойти налить стакан воды, — и ему место только в разговоре. Достаточно дорого, чтобы я не решался позвать его ещё раз, — и оно не может войти в шаги, которые мелкие и плотные. Если оно дешёвое и возвращается быстро, тогда я решаюсь его расстелить. Если обратно приходит отрывок, который мне надо дочитать, дешевизна не помогает. Я всё равно не могу положить его в цикл.

Отказ — тоже разница. От чего оно отказывается и как отказывается, проявляется после некоторого использования. Одни отказывают прямо, очень немногими словами. Я знаю, что путь закрыт, меняю просьбу, и одной изменённой фразы достаточно, чтобы продолжить. Другие так не говорят. Они обходят вещь и возвращают работу, которая пошла криво. Я всё ещё буду думать, что сказал неясно, и ещё круг молоть на плохом результате. На что я смотрю теперь: решусь ли я в следующий раз отдать эту работу ему.

Новая модель сначала называет своё место

GPT-6 снова заставил мир узнать computer use. Управление компьютером снова поставили в начало релиза. Мне важно не то, что модели раньше умели пользоваться мышью. За чертой это уже не ново. Раньше я смотрел релиз ради ещё одного яруса высоты. В этот раз я изменил вопрос. Компания, выпускающая новую модель, должна сначала подумать о собственной нише: для кого она и в чём она особенно хороша. Ей не надо вставать и говорить, что она следующий, более умный ярус.

Jev — крайность, которую я недавно на самом деле трогал. С Opus в письме он не соревнуется. Письмо он не берёт. Что он занимает — сустав. Материал доходит до точки, где надо принять решение, вопрос закрыт, и варианты были даны заранее. Обратно приходит вероятность. Она приходит сразу. На стороне чата я всё ещё переключаюсь в другое окно и жду. Здесь мне не надо переключаться прочь. Результат уже вернулся. Такой выход не тарифицируется. Что я бросаю — не «напиши мне абзац». Это суждение, уже обведённое: идёт ли этот путь и насколько он уверен. После того как вероятность возвращается, принимает программа, а не я, сидящий дочитать и потом решить. Желания общаться с ним у меня нет. Место не оставлено для чата. Чат-модели могут идти ещё выше, и то, что они выдают, всё ещё текст. Jev убирает шаг генерации текста. Это не более умный чат. Это продукт другого рода.

Между модельными компаниями я теперь смотрю на маршрут и на то, можно ли довести определение продукта. Как теперь проектируют модель, сводится к этим двум. Решает не первое имя на доске. Имена на доске через некоторое время меняются. Что модель намерена выдавать: как только форма зафиксирована, обучение и интерфейс следуют, и цена тоже следует.

Другие маршруты этот текст несёт только одной фразой. Одни доводят инженерию до крайности. Другие поворачивают и строят вертикальный комплект. Остальные просто не говорят и продолжают толкать общую модель. Конкретные комплекты DeepSeek и Kimi здесь не развёрнуты. Они написаны в JEV - Предельно простая модель, комплект и одна, которая не говорит.

За этой чертой я уже не различаю, кто умнее. Когда я переключаюсь, всё ещё может казаться чуть лучше. Этого ощущения мне недостаточно, чтобы выбирать. Что я могу различить — определение продукта. Выдаёте ли вы текст, выдаёте действия или выдаёте только вероятность.

Источники

Серия