计算每次 LLM 请求的 Token 成本
生产实践指南：计算每次 LLM 请求的 Token 成本。内容包含确定性工件、失败边界、上线检查和有来源的适用限制。
生产实践指南：计算每次 LLM 请求的 Token 成本。内容包含确定性工件、失败边界、上线检查和有来源的适用限制。
先给出决策
计算每次 LLM 请求的 Token 成本是一份明确的生产契约，而不是孤立的代码改动。切换流量前，先定义成功信号、终止失败状态和回滚条件。下面的工件把证据与假设分开，并让每次尝试都可追溯。
先落实 usage_source，再用确定性用例证明 input，并把 settlement 作为上线门槛，而不是事后补项。
可复用的技术工件
把下表作为评审记录。只有证据来自同一次请求、同一测试窗口或同一配置快照时，该行才算通过。
| 检查点 | 需要保留的证据 | 通过条件 |
|---|---|---|
usage_source |
provider_usage_or_named_normalization_rule |
记录 owner、来源、核验日期和已知限制。 |
input |
uncached_input_tokens_after_category_separation |
在线路边界保留并精确比较该值。 |
cache |
cache_read_and_cache_write_token_categories |
在线路边界保留并精确比较该值。 |
output |
visible_and_reasoning_output_under_the_owned_price_rule |
在线路边界保留并精确比较该值。 |
formula |
versioned_coefficients_in_currency_per_one_million_tokens |
记录 owner、来源、核验日期和已知限制。 |
settlement |
reserve->actual_usage->idempotent_final_charge/refund |
预留值、观测值与最终值能在同一持久账本中对账。 |
演算示例
示例使用合成数据且结果确定。请换成经过评审的真实工作负载参数；不要把生产密钥或客户提示词放入测试工件。
input_tokens = 1200
cache_read_tokens = 800
cache_write_tokens = 0
output_tokens = 300
cost = (input_tokens * input_rate
+ cache_read_tokens * cache_read_rate
+ cache_write_tokens * cache_write_rate
+ output_tokens * output_rate) / 1_000_000
round_at = owned_currency_or_quota_boundary
实施流程
- 变更前冻结当前请求、响应、配置和可观测基线。
- 运行一个确定性的正向用例，并保留客户端看到的完整结果。
- 运行配对的负向或上限用例，用证据确认失败行为。
- 用一个逻辑请求 ID 关联全部尝试，记录耗时、终态和用量，但不记录敏感正文。
- 仅在有界流量中放量并设置明确停止条件，不能因为 happy path 通过就直接扩大流量。
- 变更后回读持久状态和公网行为；任何不变量失败时执行预先准备的回滚。
常见失败模式
即使外层 HTTP 请求看起来成功，以下情况也会使结论无效：
- 写入易变价格或 token 分类，却没有来源、核验日期和发布前复核。
- 并发请求只读余额后同时通过，因缺少原子预留而超出预算。
- 只读取一个便捷字段，静默丢弃带类型的输出项、工具调用、拒绝或部分结果。
- 把未分配的共享用量强行归给一个团队，导致分摊总额无法对账。
Modelflare 边界
Modelflare 可以集中管理 OpenAI 兼容路由、密钥、分组、用量记录和失败处理，但“已配置路由”不等于上游支持所有可选字段。必须用原生协议验证具体模型与渠道。提供商价格以当前价格源为准，显式零值必须保留，最终持久结算才是账务真相。
发布前检查表
- 先回答核心问题，再补充背景。
- 每个请求字段、状态、指标和公式都有唯一 owner。
- 示例只使用合成标识，不包含密钥或客户数据。
- 所有受支持语言保留相同的标题层级、表格、代码、限制和警告。
- 在 T-1 日复核易变 API 契约、模型支持和价格；事实失效时移动发布日期。
- 预约时间前，公共 API、本地化路由和 sitemap 都不能出现该文章。
来源与核验日期
来源核验日期为 2026-08-07。这些来源只建立外部契约或运行原则，不能证明未经测试的提供商路由已支持。