Суставу не нужен мозг

Jev не пишет свободный текст. Закрытый вопрос входит, распределение выходит, на суставах, где правила кончаются, а чат-модель была бы лишней. Слои: правила, рефлекс и интеллект.

Суставу не нужен мозг

Соавтор: folkbench.com (Folkbench — платформа проверяемой оценки и выбора для AI API, модельных сервисов и связанных сайтов. Она опирается на опубликованные сведения об услугах, цены, доступность, задержку и окна доказательств, чтобы помочь сравнить пути и выбрать один.)

Десять текстов в этой серии:

Тратить вычислительную мощность целой национальной библиотеки на то, чтобы решить, должна ли собака пускать слюну на звонок, — вот форма многих узлов сейчас. Работа — развилка надвое: это предложение идет в разбор китайского счета или в разбор английской квитанции. Повесь на нее модель, которой нравится рассуждать при всех, и она напишет несколько сотен token спора, а потом одну метку. Время уходит в текст. Деньги тоже.

Биология уже ответила. Если бы каждый шаг ждал, пока кора прогонит расчет, по степи не пройти. Колено встречается с землей и сгибается.

Суставу не нужен мозг. Суставу нужен рефлекс.

Jev вырезан под это место. Он не порождает свободный текст. Входит закрытый вопрос. Выходит распределение.

Суждение, которое тащит текст

Нынешние большие модели медленны и дороги в промышленной работе, потому что им велено думать и говорить в одной и той же петле естественного языка. Нужны были да, распределение или ступень. Путь, который получается: token на входе, скрытое вычисление, затем раскодирование по одному token, затем регулярное выражение, которое вылавливает ответ из предложения.

Каждый пробел и каждая запятая попадают в счет. Авторегрессивное раскодирование не параллелится чисто. Чтобы модель «выдала JSON и никакого объяснения», в указание приходится дописать еще один блок ограничений. Это как перед каждым шагом записывать: «сейчас я шагаю левой ногой».

Большинству малых циклов промышленной системы этот абзац не нужен. Проза — для людей. Машинам нужна вероятность.

Рефлекс, который не говорит

У Jev нет рта по замыслу. Входит кусок состояния. Он не запускает цикл token. Он раскладывает вероятность по закрытым ответам, которые уже перечислены. Три типа вопросов — те же, что в следующих текстах. Не переименовывай их:

  • Да или нет, Noul. Обратно приходит вероятность «да», от 0 до 1. Это не пустое значение и не сигнал отказа.
  • Один выбор, Choice. Варианты заданы заранее, не больше 255. Он не выдумывает вариант, которого нет в списке.
  • Упорядоченная ступень, Score. От 2 до 10 ступеней, каждая записана как конкретный случай.

Это коленный рефлекс. Молоток бьет по связке. Сигналу не нужно дойти до коры, прежде чем голень дернется. Объяснение не требуется. Требуется замкнутый результат и скорость, которая умещается в цикл.

Опубликованный промежуток от края до края — примерно от 70 до 500 миллисекунд. Вход стоит $0.042 за миллион token. Выход не тарифицируется. И быстрый край, и медленный живут в этом промежутке. Не описывай это как несколько миллисекунд и не описывай это как ход чата. На закрытых суждениях System One способность в той же полосе, что у нынешних больших моделей, а скорость выше на 1 или 2 порядка. «Та же полоса» относится только к закрытым суждениям.

Модель, которая умеет вести чат, сидит в штабе и объясняет, зачем существует кампания. Jev сидит в кончиках пальцев и в коленях. Когда что-то летит в голову, голова уходит первой.

Три слоя, а не два

Обычный разрез был из двух слоев: все, что можно записать как if, оставалось в коде, а все нечеткое бросали чат-модели. Нечеткие узлы поэтому несли и стоимость, и ожидание. Разрез, который совпадает с этим продуктом, состоит из трех слоев:

       ┌────────────────────────────────────────┐
       │             3. Intelligence             │
       │  open reasoning, prose, talking to a    │
       │  person                                  │
       └───────────────────▲────────────────────┘
                           │ this question will not split; go up
       ┌───────────────────┴────────────────────┐
       │             2. Reflex (Jev)             │
       │  closed questions, fixed options,        │
       │  a distribution or a score               │
       └───────────────────▲────────────────────┘
                           │ the rule missed; hand it to reflex
       ┌───────────────────┴────────────────────┐
       │             1. Rules                    │
       │  branches whose edges are already        │
       │  written                                 │
       └────────────────────────────────────────┘

Слой правил

Кость. Регулярные выражения, деревья синтаксиса, алгоритмы, у которых края уже записаны. Команды CPU. Совпадение есть совпадение.

Слой рефлекса

Мышца и сустав. Небольшой сдвиг тона, в какую очередь входит намерение, можно ли пропустить фразу, все ли еще контекст о том же. Правила не могут дописать список, но опытный человек с одного взгляда клонится в одну сторону. Эти узлы больше не будят мозг первыми. Jev не пишет объяснения. Он возвращает вероятность или целое распределение. Достаточно легкий, чтобы жить в цикле.

Слой интеллекта

Кора. Данные поднимаются сюда только когда закрытый вопрос остается размазанным и человеку все еще нужно услышать причину. Цепочки мысли, длинные ответы и многошаговые планы остаются здесь. Письмо клиенту — не работа сустава.

Три слоя не убирают большую модель из системы. Они перестают крутить ею каждый винт.

Хороший инструмент исчезает

Когда молоток ложится в руку, внимание остается на гвозде. Молоток — продолжение руки. Когда он тяжелый, горячий или поет строфу после каждого удара, он перестает быть инструментом и становится помехой.

Чат-модели последних лет были слишком заметны. Сильный характер, слишком много слов, медленный такт. Поставленные в зубчатую передачу, каждое зацепление приходит с липким трением.

Jev — другой полюс: уже, быстрее, дешевле, и он не просит, чтобы его читали. Один полюс по-прежнему очень большая модель, которая делает дорогое мышление в вычислительном центре. Другой полюс рассыпан рядом с протоколами, очередями и датчиками, как суставы. Они себя не объясняют. Они заканчивают сокращение и расслабление.

Систему держали суставы, которым не нужно думать.

Серия