JEV - Выйти из цикла: уверенность пишется в код

После того как уверенность записана в ветку, человек сходит с обязательного пути каждой заявки и разбирает только те немногие, чья вероятность ещё размазана. Действия с высоким правом по-прежнему исполняет код, выше порога.

JEV - Выйти из цикла: уверенность пишется в код

Соавтор: folkbench.com (Folkbench — проверяемая платформа оценки и выбора для API ИИ, модельных сервисов и связанных сайтов. Она опирается на опубликованные сведения о сервисе, цены, доступность, задержку и окна доказательств, чтобы помочь пользователям сравнить варианты и выбрать путь.)

Десять текстов в этой серии:

Человек в середине цикла был компромиссом: модель могла говорить ерунду, поэтому человек стоял перед каждым действием с высоким правом. Оставьте его там достаточно надолго, и человек становится архитектурным долгом. Пропускная способность больше не зависит от полосы. Она зависит от того, есть ли кто-то на смене. Jev переворачивает это. Уверенность записывается в ветку. Человек сходит со ствола на край и разбирает только короткий отрезок, где распределение ещё размазано.

Почему человека втянули

Чат-модель — это продолжитель текста. Форма выхода неустойчива, и галлюцинация становится происшествием. Финансы, раздача заказов и соблюдение правил поэтому сложили два слоя защиты.

Слой разбора всё толще

Чтобы вытащить законный JSON из абзаца, вокруг вырастают Pydantic, повторы, чёрные списки ключевых слов и вторая подсказка. Одно суждение становится таким: написать подсказку, дождаться порождения, провалить разбор, подсказать снова, оценить снова. Задержка растёт от одного вызова до цикла.

Человеческая очередь становится стволом

Когда защита всё ещё ничего не обещает, продукт говорит: повесьте здесь человеческую очередь. Система становится «модель пишет черновик, человек решает».

  • Потолок — это скорость человека и его смена, а не машина.
  • Человек переключается между системами и читает неструктурированную прозу. Сама усталость вызывает ошибки.
  • Вычислительная мощность, которую вы купили, кончает как машина черновиков перед наборщиком. Это псевдоавтоматизация.

Записать уверенность в ветку

Нельзя было вписать модель прямо в if, потому что «я уверен на 90 процентов» само было ненадёжным и плохо сравнивалось. Jev отдаёт вероятность по закрытому вопросу. Достаточно высокая для политики — код выполняется. Размазана — уходит в очередь на краю.

request
  │
  ▼
Jev
  ├─ probability clears the threshold ─► code runs
  └─ probability does not             ─► a person at the edge

Сначала собирается вероятность

Он не пишет причину. Он сжимает смысл на классы или ступени, которые вы задали, и возвращает числа. Левая сторона стены вбирает беспорядок естественного языка. Справа остаётся только число, которое можно проверить.

Порог и есть маршрут

Порог — это политика, а не заводская настройка модели. Действие с высоким правом, например возврат, может требовать, чтобы вероятность «да» превысила 0.99. Выше этого оно идёт как жёсткая ветка. Ниже не пробивайте автоматизацию силой. 0.99 здесь пример. Каждое дело пишет свой.

Человек остаётся на краю

Человек больше не стоит на каждом узле ствола. Человеческая очередь перестаёт быть обязательным путём и становится перехватом исключений. Она несёт размытое меньшинство, а не каждую заявку.

Одна заявка, два способа её написать

Сначала породить, потом разобрать

def handle_ticket_legacy(ticket_text: str):
    prompt = f"""
    Read the ticket and return JSON:
    {{"intent": "REFUND"|"COMPLAINT"|"OTHER", "urgency": "HIGH"|"LOW"}}
    Ticket: {ticket_text}
    """
    raw = chat_model.complete(prompt)
    try:
        data = json.loads(raw)
    except json.JSONDecodeError:
        return push_to_human(ticket_text, reason="parse")
    if data.get("intent") == "REFUND" and data.get("urgency") == "HIGH":
        # no trustworthy confidence, so the privileged action still will not run itself
        return push_to_human(ticket_text, data)
    return default_route(data)

Разбор должен справляться с пропавшими полями и битым форматом. Даже когда разбор удаётся, вы не знаете, насколько он был устойчив, и ветка высокого риска всё равно возвращается к человеку.

Распределение входит в ветку

def handle_ticket_jev(ticket_text: str):
    refund = jev.noul(state=ticket_text, statement="this is a high-risk request that should enter refund review automatically")
    kind = jev.choice(
        state=ticket_text,
        options=["HIGH_RISK_REFUND", "NORMAL_INQUIRY", "SPAM"],
    )
    if kind.top == "HIGH_RISK_REFUND" and refund.p_yes >= 0.99:
        return execute_refund_review(ticket_text)
    if kind.top == "NORMAL_INQUIRY" and kind.probability >= 0.95:
        return auto_reply(ticket_text)
    return push_to_edge_human(ticket_text, confidence=kind.probability)

Это не даёт модели права на возврат. Действие с высоким правом по-прежнему функция, которую код вызывает выше порога. Бухгалтерские проверки внутри этой функции не теряют ни строки. Модель только даёт вероятность закрытого вопроса.

Рядом

Измерение Сначала породить, человек в цикле Распределение записано в ветку
Поток управления try-catch, повтор, ограждения Порог и обычная ветка
Задержка Одно порождение, часто дольше секунды; ждать человека — это часы Закрытый вызов около 70–500 ms; человек бывает только на краю
Где сидит человек Часто на стволе Только когда вероятности не хватает
Состояние Отрезок текста посередине Проходит, или не проходит

Определённость возвращается к if

Программе нужна ветка, которую можно проверить. После того как чат-модель входит в ствол, перед if садится фраза, которая может сменить форму. Закрытый вопрос оставляет эту смену формы слева от стены. Справа по-прежнему if и else.

Человек — самый большой кусок трения, когда каждый запрос ждёт щелчка. Снимите его со ствола, и поток, который берёт порог, больше не останавливается ради подтверждения. Когда вероятность падает, система локально скользит к краю. Она не затыкает всю цепь.

Человек в середине цикла был компромиссом, оплаченным рано. Зрелая проводка не использует человека как деталь. Она использует человека, чтобы смотреть на немногие случаи, которые ещё размазаны, и чтобы разбирать крайние исключения. Сустав владеет наклоном. Человек владеет отрезком, который ещё не вписан в политику.

Серия