跳到主要内容

监控、日志与排障

网关概览帮助管理员观察流量、响应表现和上游健康。请求日志用于分析单次调用;个人与组织费用在对应账单中查询。这三类信息回答不同的问题。

查看运行指标​

进入管理员后台 AI 网关 → 网关概览,先选择时间范围和模型,再查看图表。

AI Gateway 网关概览

指标用途与边界
首 Token 延迟(TTFT)衡量收到首个输出的等待时间;与完整响应时间不同
并发数查看当前活动请求或连接负载,帮助判断服务繁忙程度
Prompt 缓存率查看上游对输入上下文的缓存复用情况
流量与延迟趋势对照流量变化,定位响应变慢的时间段
上游健康状态区分健康、亚健康和不可用节点
前 5 上游渠道查看流量占比与成功率,检查流量分配

完整界面说明见管理员 AI 网关。

使用请求与实例日志​

网关请求记录可包括输入 Prompt、工具调用和输出内容,适用于审计、效果分析以及经授权的数据分析。日志获取方式、字段与保留范围由部署配置决定,参见内容安全与数据处理。

自建推理的容器运行日志在实例页面中查看,参见使用专属实例。排查实例启动或运行问题时查看容器日志,分析模型回复时查看调用记录,核对费用时查看消费账单。

按现象排查​

现象先检查什么下一步
无法认证是否使用网关 Key、是否过期/撤销、请求头是否正确身份与访问权限
模型不存在或无权限模型名称、服务启用状态、调用身份和实例可见性接入与调用模型
达到额度或被限流Key 金额额度、账户余额和实际限流配置分别检查额度、计量与费用
上游失败Endpoint、供应商凭据、健康状态及备用上游路由与调用稳定性
首 Token 变慢同一时间段的流量、并发、缓存与实例状态性能与成本优化
流式输出中断连接、客户端超时、上游错误及检测结果保留已收到内容,避免无界重试
费用与预期不同Key 归属、时间范围、价格、计量单位及重试情况对照账单核实实际消费

若响应包含平台自定义错误码,可查阅错误代码。上游返回的 HTTP 或流式错误,请结合响应内容与对应服务的接口说明处理。

提交问题时提供的信息​

提供发生时间与时区、使用的模型和接口、请求方式、错误状态及最小复现步骤。如响应提供请求标识,一并保存。提交日志前移除真实凭据,并按企业规则处理调用正文。