核心能力
AI Gateway 的能力按任务拆分为独立页面。本页 提供能力地图;首次使用可从快速开始完成一次模型调用。
1. 统一的 AI API 接入
连接公共推理、专属实例和第三方商业 API,支持文本、向量、图像、语音等模型服务,并适配不同上游的认证方式。通过 Chat Adapter 支持 Responses 到 Chat 的请求转换与推理能力适配。具体端点、SDK 用法及模型差异见接入与调用模型。
2. 多模型与多服务商统一调度
为同一模型配置多个上游,使用轮询、权重和会话哈希分配请求。配置方法与缓存亲和性的边界见路由与调用稳定性和性能与成本优化。
3. 认证与额度管理
使用个人或组织 API Key 管理调用身份、有效期和消费上限。Key 额度、Token 用量、TPM 与账户余额分别说明, 参见身份与访问权限和额度、计量与费用。
4. 内容安全检测
对输入和输出执行已启用的检测,覆盖流式与非流式场景。检测配置、可信请求例外与日志数据的使用边界见内容安全与数据处理。
5. 高可用与自动故障切换
通过上游健康检查、熔断及请求级切换降低故障影响。故障后的处理取决于请求阶段、可用上游及实际配置,参见路由与调用稳定性。
支持上游容量治理,可对超并发请求选择直接拒绝或排队等待,在流量控制与等待体验之间按场景选择策略。
6. 请求日志与数据沉淀
通过调用记录分析请求、输出与工具调用;通过网关概览查看流量、延迟和通道健康。参见监控、日志与排障。正文记录及后续数据使用需遵守部署的数据管理规则,参见内容安全与数据处理。
7. 用量统计与计费
EE 提供用量计量和配额管理;定价、余额扣费和财务结算属于 已开通的计费与结算能力。
根据模型任务统计 Token、次数、时长或其他已配置的计量单位,支持费用查询和使用管理。参见额度、计量与费用;对外定价与财务操作见模型服务商业化运营。
团队接入与运维
按个人、组织和管理员职责组织服务接入、凭据管理及维护流程,参见团队管理与运维。
性能与成本优化
结合路由、Prompt Cache、推理配置和模型评测,比较质量、延迟与费用变化,参见性能与成本优化。
MCP 与 Agent 场景
区分远端 MCP 接入、平台托管服务、Agent 和沙盒代理,参见MCP 与 Agent 接入。