Расчет стоимости токенов LLM на запрос

Руководство для production: Расчет стоимости токенов LLM на запрос. Включает детерминированный артефакт, границы отказа, контроль rollout и проверенные источники.

Расчет стоимости токенов LLM на запрос

Руководство для production: Расчет стоимости токенов LLM на запрос. Включает детерминированный артефакт, границы отказа, контроль rollout и проверенные источники.

Сначала решение

Расчет стоимости токенов LLM на запрос — явный production-контракт, а не отдельное изменение. До переноса трафика задайте успех, конечный отказ и rollback; артефакт отделяет доказательства от предположений.

Начните с usage_source, детерминированно докажите input и сделайте settlement обязательным release-gate.

Повторно используемый артефакт

Строка считается пройденной, только если доказательство относится к тому же запросу, окну теста или версии конфигурации.

Контрольная точка Доказательство Условие прохождения
usage_source provider_usage_or_named_normalization_rule Owner, источник, дата и ограничение записаны.
input uncached_input_tokens_after_category_separation Значение точно сохраняется и сравнивается на wire-границе.
cache cache_read_and_cache_write_token_categories Значение точно сохраняется и сравнивается на wire-границе.
output visible_and_reasoning_output_under_the_owned_price_rule Значение точно сохраняется и сравнивается на wire-границе.
formula versioned_coefficients_in_currency_per_one_million_tokens Owner, источник, дата и ограничение записаны.
settlement reserve->actual_usage->idempotent_final_charge/refund Резерв, наблюдение и итог сходятся в долговечном ledger.

Разобранный пример

Пример синтетический и детерминированный. Подставьте проверенные параметры своей нагрузки; не используйте секреты или данные клиентов.

input_tokens = 1200
cache_read_tokens = 800
cache_write_tokens = 0
output_tokens = 300

cost = (input_tokens * input_rate
      + cache_read_tokens * cache_read_rate
      + cache_write_tokens * cache_write_rate
      + output_tokens * output_rate) / 1_000_000

round_at = owned_currency_or_quota_boundary

Порядок внедрения

  1. Зафиксировать текущие запрос, ответ, конфигурацию и наблюдаемую базовую линию.
  2. Выполнить детерминированный положительный сценарий и сохранить полный результат.
  3. Выполнить парный отрицательный или предельный сценарий.
  4. Связать попытки одним логическим request ID и записать время, конечное состояние и usage без чувствительного содержимого.
  5. Раскатывать на ограниченную когорту с условиями остановки.
  6. Повторно прочитать долговечное состояние и публичное поведение; при нарушении инварианта выполнить rollback.

Режимы отказа

Эти ошибки обесценивают результат, даже если внешний HTTP выглядит успешным:

  • Изменяемая цена или контракт не перепроверяются.
  • Без атомарного резерва параллельные запросы превышают лимит.
  • Читается одно удобное поле, а типизированные outputs, tools, отказы или частичные результаты теряются.
  • Общие затраты распределяются так, что итог не сходится.

Граница Modelflare

Modelflare централизует OpenAI-совместимый routing, ключи, группы, usage и ошибки, но настроенный маршрут не доказывает опциональные возможности провайдера. Проверяйте модель и канал нативным протоколом, сохраняйте явные нули и считайте истиной billing только долговечный расчет.

Общая граница решения описана в родительском руководстве, текущая настройка — в документации.

Проверка перед публикацией

  • Сначала ответить на главный вопрос.
  • Назначить owner каждому полю, состоянию, метрике и формуле.
  • Использовать только синтетические идентификаторы.
  • Сохранить структуру, код, лимиты и предупреждения во всех языках.
  • На T-1 перепроверить контракты, поддержку и цены; при изменении перенести дату.
  • До срока исключить страницу из public API, маршрутов и sitemap.

Источники и дата проверки

Источники проверены 2026-08-07; они не доказывают непроверенный маршрут.