JEV - От BERT обратно к одному распределению

«Не может галлюцинировать» покрывает только закрытый вопрос: ответ не может выйти из заданного множества, а внутри него всё ещё может быть неверным. Jev сохраняет семантику этого поколения и возвращает один прямой проход и одно распределение.

JEV - От BERT обратно к одному распределению

Соавтор: folkbench.com (Folkbench — проверяемая платформа оценки и выбора для API ИИ, модельных сервисов и связанных сайтов. Она опирается на опубликованные сведения о сервисе, цены, доступность, задержку и окна доказательств, чтобы помочь пользователям сравнить варианты и выбрать путь.)

Десять текстов в этой серии:

«Не может галлюцинировать» — не слоган. Это покрывает один слой: ответ должен попасть в множество, которое вы зафиксировали заранее. Метку вне этого множества нельзя выдумать. Внутри множества вероятность всё ещё может быть неверной. Этот очерк возвращает эту границу в историю классификации. Jev похож на общий классификатор лет до GPT, с семантикой этого поколения и с выходом, который вернулся к одному прямому проходу и одному распределению.

Чего стоили годы классификаторов

С 2018 по 2021 год большая часть работы в NLP была классификацией: намерение, маршрутизация, тональность, метки области. BERT, RoBERTa и XLNet были инструментами. Двунаправленные кодировщики оставили LSTM и SVM позади и принесли три инженерных долга.

  1. Метки были голодными. После предобучения задача вроде финансового намерения всё ещё хотела тысячи чистых примеров. Ещё одна тонкая метка означала ещё один проход очистки, коллективной разметки и дополнения.
  2. Невиданные формулировки отваливались. Те классификаторы подгоняли границу решения. Они не знали, что метка значит.
  3. Один набор весов на задачу. Десятки потребностей в классификации означали десятки экземпляров, и версии, память и выпуски громоздились вместе.

Не хватало того, что понимает предложение и может вернуть вероятность для определения, которое вы написали только что, без обучения новой головы на каждую метку.

Избыточный удар генеративных моделей

Линия GPT сделала так, что классификация выглядела решённой. Одна фраза, «оцените тональность и верните JSON», и модель без примеров часто называет класс. Продакшен показал другую сторону.

  • Формат всё ещё цепочка вероятностей. Чтобы получить метку, вы просите законный JSON или XML. У сильной генеративной модели всё ещё есть маленький шанс дописать одно предложение, и разбор ломается.
  • Цена привязана к длине. Метка из нескольких символов сидит за длинной инструкцией и посимвольным порождением token за token. В живых проверках риска и в онлайн-маршрутизации это осадное орудие по комару.

Мы получили сильное семантическое понимание и затем приставили к нему медленную, хрупкую выходную трубу, только чтобы получить класс. Если «не может галлюцинировать» указывает на эту трубу, генеративные модели её не убрали. Они стали лучше писать галлюцинацию так, чтобы она звучала как предложение.

Один прямой проход, одно распределение

Jev стоит между двумя: ему нужна семантика этого поколения и поведение на немногих примерах, ему не нужно порождение текста, и он возвращается к форме выхода классификатора.

От подгонки признаков к выравниванию смысла

Старые классификаторы резали многообразие в векторном пространстве. Смените метку — и их надо подгонять снова. Jev читает состояние, которое надо классифицировать, вместе с определением каждой метки на естественном языке. Вы пишете, что значит ступень, и он кладёт вероятность на эту ступень, без обновления градиента для новой метки. Понимание принадлежит генеративной эпохе. Выход — нет.

Он больше не порождает token за token

Порождение медленное, потому что каждый token — это ещё один прямой проход. Jev не пишет символы {"category": "A"}. За один прямой проход он раскладывает вероятность по кандидатам. Съезд формата исчезает как класс отказа: нет строки, значит, нечему ломаться.

Это и есть слой, который «не может галлюцинировать» на самом деле называет. Он не может выдумать вариант вне списка и не может дописать объяснение после ответа. Он всё ещё может назначить неверную вероятность внутри списка. Калибровка спрашивает, движется ли заявленная уверенность вместе с тем, как часто он прав. Она не обещает, что класс всегда верен.

Что эксплуатация больше не держит

Измерение Годы BERT Генеративные модели Jev
Данные Тонкая настройка на большом размеченном наборе Немного примеров, через инструкцию Немного примеров, через определение метки на естественном языке
Выход Голова классификации, формат фиксирован Порождает, и формат может сломаться Распределение, ломать формат нечему
Скорость Кодировщик, миллисекунды Растёт с длиной порождения Опубликованный путь от края до края около 70–500 ms, и он не растёт с предложением ответа
Семантика Легко уводится поверхностными словами Глубокая Глубокая, но только на те метки, которые вы дали
Эксплуатация Один набор весов на задачу Инструкции и разборщики Одна модель; определения меток меняются вместе с запросом

Старая задача не устарела

Возвращение к классификации текста ощущается знакомым. Инструмент под ним уже не тот тупой.

  • Вы не учите ещё один круг, потому что 500 меток были неверны.
  • Вы не оборачиваете кривой JSON в try-catch.
  • Вы передаёте состояние, пишете, что значит каждый вариант, и забираете распределение.

От BERT к генеративным моделям и к этому структурному выходу классическая задача не ушла. Ушло «чтобы получить метку, сначала напишите абзац». «Не может галлюцинировать» останавливается на этом слое. Выше ошибочный класс, неразобранный вопрос и открытый вопрос, который не надо было задавать, всё ещё на месте. Слоган их не покрывает.

Серия