2026-09-22

在 Structured Outputs 之外校验 LLM JSON

生产实践指南：在 Structured Outputs 之外校验 LLM JSON。内容包含确定性工件、失败边界、上线检查和有来源的适用限制。

先给出决策

在 Structured Outputs 之外校验 LLM JSON是一份明确的生产契约，而不是孤立的代码改动。切换流量前，先定义成功信号、终止失败状态和回滚条件。下面的工件把证据与假设分开，并让每次尝试都可追溯。

先落实 transport，再用确定性用例证明 parse，并把 rejection 作为上线门槛，而不是事后补项。

可复用的技术工件

把下表作为评审记录。只有证据来自同一次请求、同一测试窗口或同一配置快照时，该行才算通过。

检查点	需要保留的证据	通过条件
`transport`	`HTTP_and_endpoint_terminal_state_are_complete`	在线路边界保留并精确比较该值。
`parse`	`UTF-8_JSON_parses_once_with_no_trailing_content`	限制明确，超过限制时默认拒绝。
`schema`	`Draft_2020-12_subset_and_additionalProperties_policy`	在线路边界保留并精确比较该值。
`business`	`cross-field_invariants_and_allowed_identifiers`	执行前即时核验身份、作用域与策略。
`side_effect`	`validation_completes_before_any_mutation`	重放同一操作不会重复产生副作用或扣费。
`rejection`	`safe_error_class_retained_without_echoing_sensitive_output`	记录 owner、来源、核验日期和已知限制。

演算示例

示例使用合成数据且结果确定。请换成经过评审的真实工作负载参数；不要把生产密钥或客户提示词放入测试工件。

pipeline = parse_one_json -> validate_schema -> validate_business -> authorize

cases:
  valid_object: accept
  '{"category":': reject_parse_incomplete
  '{"category":"ops","extra":1}': reject_schema_extra_field
  '{"category":"ops","requires_human":true,"priority":"low"}': reject_business_rule
  '{"category":"restricted"}': reject_authorization

side_effect_gate = accepted_and_authorized_only

实施流程

变更前冻结当前请求、响应、配置和可观测基线。
运行一个确定性的正向用例，并保留客户端看到的完整结果。
运行配对的负向或上限用例，用证据确认失败行为。
用一个逻辑请求 ID 关联全部尝试，记录耗时、终态和用量，但不记录敏感正文。
仅在有界流量中放量并设置明确停止条件，不能因为 happy path 通过就直接扩大流量。
变更后回读持久状态和公网行为；任何不变量失败时执行预先准备的回滚。

常见失败模式

即使外层 HTTP 请求看起来成功，以下情况也会使结论无效：

把 Schema 合法误当成业务合法，跳过授权与业务规则。
在该调用收到终止事件前就解析尚未完整的流式参数。
重试工具调用时重复付款、发消息、写数据或执行其他不可逆操作。
把提示词、密钥、原始工具参数或提供商正文写入高基数遥测。

Modelflare 边界

Modelflare 可以集中管理 OpenAI 兼容路由、密钥、分组、用量记录和失败处理，但“已配置路由”不等于上游支持所有可选字段。必须用原生协议验证具体模型与渠道。提供商价格以当前价格源为准，显式零值必须保留，最终持久结算才是账务真相。

更宽的决策边界见上级指南，当前客户端配置见接入文档。

发布前检查表

先回答核心问题，再补充背景。
每个请求字段、状态、指标和公式都有唯一 owner。
示例只使用合成标识，不包含密钥或客户数据。
所有受支持语言保留相同的标题层级、表格、代码、限制和警告。
在 T-1 日复核易变 API 契约、模型支持和价格；事实失效时移动发布日期。
预约时间前，公共 API、本地化路由和 sitemap 都不能出现该文章。

来源与核验日期

来源核验日期为 2026-08-07。这些来源只建立外部契约或运行原则，不能证明未经测试的提供商路由已支持。