JEV - Анти-token книга не выпустит это первой

Действующая лаборатория может собрать Jev. Книга учёта берёт плату за объём генерации, а организация отделяет модели от бизнеса, поэтому они не делают это первыми. Кто делает первым, должен писать прайс задом наперёд.

JEV - Анти-token книга не выпустит это первой

Соавтор: folkbench.com (Folkbench — проверяемая платформа оценки и выбора для API ИИ, модельных сервисов и связанных сайтов. Она опирается на опубликованные сведения о сервисе, цены, доступность, задержку и окна доказательств, чтобы помочь пользователям сравнить варианты и выбрать путь.)

Десять текстов в этой серии:

С инженерной стороны действующая лаборатория может собрать Jev. Нет нового оператора и нет файла весов, которого другим не достать. Это продукт, который собирает состояние бизнеса и закрытые суждения. Половины команды и нескольких недель хватает на версию, которая работает. Технически это держится.

Со стороны организации и книги учёта они не делают это первыми. Это та дилемма, которую записал Кристенсен: уметь что-то собрать и быть готовым потратить на это собственную прибыль — не один и тот же факт.

Инженерия — не трудная часть

Кто строил RAG или автомат состояний с несколькими Agent, видит, что Jev побеждает не тем, что подавляет сцену. Он сводит «выход рассуждения» к распределению.

Порождающий путь такой: пользователь называет нужду, модель пишет длинный кусок текста или кода, а человек или следующий Agent это разбирает.

Путь Jev такой: система сначала вынимает состояние, модель только назначает вероятность на закрытых вопросах, жёсткие ветки возвращаются в код, и тогда приходит результат.

Лаборатория может снять несколько человек и провести внутренний опыт. В центральный прайс это не входит, потому что прайс смотрит в другую сторону.

Книга учёта token написана задом наперёд

Порождающий бизнес действующего игрока, продаётся ли он как API или местами, сцеплен с одним допущением: чем больше порождаешь, тем больше выручка. Внутренние вопросы растут под это. Как сделать отчёт длиннее. Как добавить ещё один виток цепочки рассуждений. Как растянуть контекст до одного миллиона token, потом до двух миллионов.

Jev идёт в обратную сторону. Сравнение через системы, если всю историю отдать модели беседы, может быть десятками тысяч входных token и тысячами выходных token, и один вызов может стоить центы. Сначала выжать состояние и спрашивать только закрытые вопросы — и вход может упасть до нескольких сотен token, а выход не тарифицируется. Опубликованная цена входа — $0.042 за миллион token. Разрыв — не несколько процентов.

Для облачного подразделения фраза на разборе такая: та же работа всё ещё делается, а клиент сжигает здесь гораздо меньше token. Это съедает выручку самого подразделения. Ресурсы текут к проектам, которые съедают больше token. То, что высушивает выход, при нынешней оценке выглядит как край с низкой маржой.

Разрушительное часто начинается так: низкая цена за единицу, обслуживание краевых узлов, и действующий отчёт о прибыли это не уважает. Jev растёт вверх из этой впадины. Действующие игроки не слепы. Книга учёта не даёт им двинуться первыми.

Люди и точка зрения не встречаются

Есть более тихий барьер. Труд у действующих игроков часто разрезан.

  1. Сторона модели смотрит на потерю, таблицы, длину контекста и пропускную способность. На всякую задачу она отвечает: «модель стала сильнее».
  2. Сторона бизнеса смотрит на детерминированный код, транзакции и микросервисы. Модель — чёрный ящик: её не используют или глотают целиком.

Суставу нужен третий род людей. Они писали грязные бизнес-системы и знают, что модель сильна в вероятностной индукции и слаба, если её используют как регулярное выражение или как калькулятор. Они знают, где резать:

  • Не заставляйте модель порождать всю программу. Пусть она один раз классифицирует на ветке.
  • Не заставляйте модель держать весь контекст. Сначала сведите контекст к перечислениям.
  • Скелет остаётся кодом. Модель только направляет на суставе.

В организации, разрезанной так чисто, эта работа ничья. Алгоритмы называют это слишком деловым. Бизнес называет это неопределённым. В маленькой команде оба взгляда ещё сидят в одном человеке, и продукт можно собрать.

Разрушение начинается снизу

Большие ЭВМ смотрели на персональный компьютер и видели игрушку с тонкой прибылью. Операторы связи смотрели на мгновенные сообщения и видели, что те съедают SMS. Сегодняшний праздник — продавать вычисления, продавать token и сравнивать число параметров.

То, на что указывает Jev, — другая фраза: крупное применение может случиться не там, где token дорожает. Оно может случиться там, где token выжимают досуха и суждение снова становится инфраструктурой.

Действующие игроки могут это собрать. Они по большей части будут ждать, пока старую прибыль один раз не прогрызут, и тогда их втянут в ту же схватку. Те, кто собирает это первым, — те, кто готов писать прайс задом наперёд.

Серия