AI Gateway 简介
CSGHub AI Gateway 为应用提供访问 AI 服务的统一入口,连接企业自建推理和第三方模型服务。开发者使用网关 API Key 调用已开通的服务;管理员集中管理接入、路由、内容安全和用量,并通过运行指标与请求日志排查问题。
为什么需要 AI Gateway
当多个业务团队使用不同来源的模型时,AI Gateway 可以帮助团队:
- 统一接入:通过同一个网关入口使用公共推理、专属实例和商业模型 API。
- 管理使用范围:区分个人与组织凭据,设置消费额度,管理模型服务的访问。
- 提高稳定性:为同一模型配置多个上游,通过路由、健康检查与故障切换管理流量。
- 了解使用情况:查看调用量、费用、首 Token 延迟、缓存命中率和上游健康状态。
详细能力与操作入口见核心能力。
服务来源与请求关系
| 服务来源 | 谁负责运行模型 | 从哪里开始 |
|---|---|---|
| 第三方商业 API | 外部模型服务商 | 管理员配置 Endpoint、上游凭据与模型名称 |
| 公共推理(Serverless API) | 平台管理员部署并维护 | 使用已开通的模型,或由管理员创建公共推理 |
| 专属推理实例(Endpoint) | 实例所有者在平台上部署 | 创建实例,再按实例 API 说明调用 |
应用把请求发送到网关;网关根据身份、服务配置与路由规则,将请求交给对应的上游。上游负责模型推理。模型仓库管理文件与版本,推理实例管理运行资源,网关管理应用对服务的访问。
应用 使用网关 API Key 调用服务,管理员使用上游供应商凭据连接模型服务商。调用模型时,请从服务页面获取 API 地址与模型名称。
按任务开始
| 当前任务 | 推荐文档 |
|---|---|
| 完成第一次调用 | 快速开始 |
| 接入自建或第三方模型 | 接入与调用模型 |
| 给个人或团队配置访问凭据 | 身份与访问权限 |
| 管理内容检测与调用数据 | 内容安全与数据处理 |
| 配置多上游与排查故障切换 | 路由与调用稳定性 |
| 设置额度或了解费用 | 额度、计量与费用 |
| 查看运行情况或排查异常 | 监控、日志与排障 |
版本说明
- 社区版(CE):提供 OpenAI 兼容的模型调用入口。实际接口支持取决于部署版本、推理框架与模型能力。
- 企业版(EE):提供用量计量、配额和报表,不进行平台扣费;提供面向组织的管理能力,并扩展 Agent 运行时、沙盒环境、MCP Gateway 控制面及可选的 LLM 内容安全守卫。
- 已开通计费功能的运营站点提供服务价格、消费账单、充值和发票等流程,参见模型服务商业化运营。这些流程与企业内部用量管理分别说明。
各模块中的管理页面和可选组件以部署版本及授权范围为准。调用前,请查看所选模型的参数说明,并确认当前身份具有服务访问权限。