什么是 AI API 网关？模型、路由与用量管理
了解 AI API 网关如何统一鉴权、模型目录、路由回退、用量记录与成本归因，同时保留协议和模型能力边界。
AI API 网关位于应用与一个或多个模型上游之间。应用把请求发送给网关；网关执行鉴权和访问策略，为指定模型选择符合条件的路由，将请求转发给上游，并记录最终结果。
这个定义比“用一个 API 调用所有模型”更准确。网关可以统一本应保持一致的部分，但不会让所有模型和供应商自动支持相同的协议、工具、输入类型或延迟表现。
AI API 网关位于哪里
一条典型请求链路包含六个阶段：
| 阶段 | 职责 |
|---|---|
| 客户端 | 选择模型、协议、输入和是否流式返回 |
| 兼容端点 | 接收所选协议，例如 Chat Completions 或 Responses |
| API Key 策略 | 检查账号权限、额度、有效期、模型限制、IP 规则与路由配置 |
| 模型路由 | 在不改变请求协议的前提下选择可用模型分组和渠道 |
| 模型上游 | 执行请求并返回该协议对应的输出 |
| 用量记录 | 把状态、模型、分组、Token、时序和费用关联到本次请求 |
Modelflare 的公共 Base URL 是 https://modelflare.dev/v1。客户端可以使用兼容端点，同时通过模型与价格确认当前模型可用性、协议支持和实时价格。
网关可以统一什么
鉴权与 API Key 策略
应用只需要使用一个 Modelflare API Key，不必把多套上游凭据放进每个部署环境。生产、开发、Agent 和自动化任务可以分别创建 Key，让每个工作负载拥有独立的额度、有效期、模型权限、IP 规则和路由策略。
模型发现
经过鉴权的模型列表会返回当前 Key 可访问的模型 ID：
curl -sS https://modelflare.dev/v1/models \
-H "Authorization: Bearer $MODELFLARE_API_KEY"
这只能证明访问权限，并不代表通用兼容。列表中的模型仍需支持客户端所用的端点与功能。
路由与回退
普通 API Key 可以配置一个主模型分组和按顺序执行的回退分组。Smart API Key 会根据路由策略，在账号当前可用的具体分组中进行评估。两种方式都是选择由哪里承载指定模型，不应暗中把请求替换成另一个模型。
生产设计可以继续阅读可靠的 AI API 路由。
用量与费用可见性
网关可以把已完成请求与实际选择的模型及分组关联起来。Modelflare 用量日志会显示请求状态、Token 用量、响应时序和费用，运维人员可以直接调查单次请求，而不是根据月度总额反推原因。具体计费层次见AI API 成本追踪。
哪些能力仍取决于模型和协议
AI API 网关不会抹平上游协议边界。以下能力必须分别验证：
- **端点支持：**模型可能支持 Chat Completions、Responses、Anthropic Messages、Gemini 风格请求，或者只支持其中一部分。
- **流式事件：**Chat Completions chunk 与 Responses event 是两套不同的客户端协议。
- **工具与结构化输出：**Schema 和支持的工具类型可能随模型及供应商变化。
- **多模态输入：**图片、音频、文件等输入需要模型和端点明确支持。
- **供应商私有字段：**部分兼容端点会选择透传私有控制字段，而不是对其进行转换。
- **延迟与限额：**路由可用不代表所有上游拥有相同的首个输出时间或请求上限。
最稳妥的迁移方式是从OpenAI 兼容 API 指南开始，并对应用实际依赖的功能逐项测试。
一套可执行的网关评估流程
应使用真实工作负载评估网关，而不是只发一条很短的提示词：
- 为目标工作负载创建独立 API Key，并配置预期额度和路由策略。
- 请求 /v1/models，选择当前 Key 可见的模型。
- 在实时模型目录中确认其支持的 API 格式。
- 先发送一次非流式请求，并保留返回状态。
- 如果应用需要，再分别测试流式、工具、结构化输出和多模态输入。
- 在用量日志中核对模型、分组、Token、时序和费用。
- 验证回退链路，但不得改变指定模型或协议。
- 使用有代表性的上下文长度和客户端超时，再进行生产切换。
什么情况下适合使用网关
当团队需要统一管理 Key、访问多个模型家族、使用明确的路由策略、集中查看用量记录，或希望为 Agent 和应用保留稳定的集成边界时，AI API 网关很有价值。
如果某个应用强依赖尚无兼容网关协议的供应商专属能力，或者团队明确希望自行管理供应商凭据、路由、结算和诊断，直接连接供应商仍可能更合适。
真正的问题并不是抽象地选择“网关还是供应商”，而是网关能否保留工作负载需要的协议和功能，同时降低访问、路由和证据留存的运维复杂度。
常见问题
使用一个网关是否意味着所有模型采用相同请求格式？
不是。网关可以提供多种兼容格式，但客户端、端点、模型和上游供应商仍必须共同支持同一份协议。不要在未检查模型目录前随意切换 Chat Completions 与 Responses。
回退是否会自动改用另一个模型？
Modelflare 的回退分组是指定模型的不同路由，不是任意替换模型的指令。每个候选分组都必须提供同一模型，并支持请求需要的协议能力。
上线前应该测量什么？
至少测量鉴权、模型访问、非流式输出、流式首个有效输出、总响应时间、用量、费用和失败行为。一次健康检查成功不足以证明生产兼容性。