监控、日志与排障
网关概览帮助管理员观察流 量、响应表现和上游健康。请求日志用于分析单次调用；个人与组织费用在对应账单中查询。这三类信息回答不同的问题。
查看运行指标
进入管理员后台 AI 网关 → 网关概览，先选择时间范围和模型，再查看图表。
| 指标 | 用途与边界 |
|---|---|
| 首 Token 延迟（TTFT） | 衡量收到首个输出的等待时间；与完整响应时间不同 |
| 并发数 | 查看当前活动请求或连接负载，帮助判断服务繁忙程度 |
| Prompt 缓存率 | 查看上游对输入上下文的缓存复用情况 |
| 流量与延迟趋势 | 对照流量变化，定位响应变慢的时间段 |
| 上游健康状态 | 区分健康、亚健康和不可用节点 |
| 前 5 上游渠道 | 查看流量占比与成功率，检查流量分配 |
| Token 生产 SLO 指标 | 监控 TTFT、TPOT、排队等待（Queue Wait）与 Token 生产吞吐率 |
Token 生产服务等级（Token Production SLO）
为更真实度量与保障大模型服务质量，AI Gateway 建立了面向 Token 生产全流程的 Token Production SLO 指标体系，重点采集 P50 与 P90 分位数指标：
- 首 Token 延迟（TTFT，
ttft_ms）：衡量请求进入网关到生成首个 Token 的时间，评估首字交互延迟。 - 单 Token 生成耗时（TPOT，
tpot_ms）：衡量 Decode 阶段平均单个 Token 的生成耗时，评估持续吐字流畅度。 - 端到端总延迟（E2E Latency，
e2e_latency_ms）：从发起请求到接收完最后一个 Token 的全链路耗时。 - 排队等待时延与深度（Queue Wait / Depth，
queue_wait_ms/queue_depth）：监控请求在网关准入及排队池中的等待耗时与堆积深度。 - Token 生产吞吐率（Token Throughput，
tokens_per_second）：统计各模型服务每秒产出 Token 的速率。
异常状态码对齐 OpenAI 标准规范
AI Gateway 对网关产生的鉴权、限流、配额、参数校验及上游异常响应进行了全面标准化改造，HTTP 状态码与响应体格式完全符合 OpenAI API 标准规范：
- 401 Unauthorized：API Key 无效、未携带、已过期或处于禁用状态；
- 403 Forbidden：请求的模型不在该 API Key 的白名单范围内，或触发了 IP 白名单准入拦截；
- 404 Not Found：请求的目标模型不存在或未开通；
- 429 Too Many Requests：触发了 TPM / RPM 速率限制，或账户/API Key 的消费额度（Quota）已耗尽；
- 502 Bad Gateway / 503 Service Unavailable：所有配置的上游节点均不可用或健康检查熔断。
标准响应结构如下：
{
"error": {
"message": "The model 'qwen2.5-72b' is not permitted for the provided API key",
"type": "permission_denied",
"param": null,
"code": "model_not_allowed"
}
}
客户端 SDK（如 OpenAI Python/Node.js SDK、LangChain 等）无需任何额外的容错分支即可原生捕获标准异常。
完整界面说明见管理员 AI 网关。
使用请求与实例日志
网关请求记录可包括输入 Prompt、工具调用和输出内容，适用于审计、效果分析以及经授权的数据分析。日志获取方式、字段与保留范围由部署配置决定，参见内 容安全与数据处理。
自建推理的容器运行日志在实例页面中查看，参见使用专属实例。排查实例启动或运行问题时查看容器日志，分析模型回复时查看调用记录，核对费用时查看消费账单。
按现象排查
| 现象 | 先检查什么 | 下一步 |
|---|---|---|
| 无法认证 | 是否使用网关 Key、是否过期/撤销、请求头是否正确 | 身份与访问权限 |
| 模型不存在或无权限 | 模型名称、服务启用状态、调用身份和实例可见性 | 接入与调用模型 |
| 达到额度或被限流 | Key 金额额度、账户余额和实际限流配置分别检查 | 额度、计量与费用 |
| 上游失败 | Endpoint、供应商凭据、健康状态及备用上游 | 路由与调用稳定性 |
| 首 Token 变慢 | 同一时间段的流量、并发、缓存与实例状态 | 性能与成本优化 |
| 流式输出中断 | 连接、客户端超时、上游错误及检测结果 | 保留已收到内容，避免无界重试 |
| 费用与预期不同 | Key 归属、时间范围、价格、计量单位及重试情况 | 对照账单核实实际消费 |
若响应包含平台自定义错误码，可查阅错误代码。上游返回的 HTTP 或流式错误，请结合响应内容与对应服务的接口说明处理。
提交问题时提供的信息
提供发生时间与时区、使用的模型和接口、请求方式、错误状态及最小复现步骤。如响应提供请求标识，一并保存。提交日志前移除真实凭据，并按企业规则处理调用正文。