跳到主要内容

AI Gateway 简介

CSGHub AI Gateway 为应用提供访问 AI 服务的统一入口,连接企业自建推理和第三方模型服务。开发者使用网关 API Key 调用已开通的服务;管理员集中管理接入、路由、内容安全和用量,并通过运行指标与请求日志排查问题。

为什么需要 AI Gateway​

当多个业务团队使用不同来源的模型时,AI Gateway 可以帮助团队:

  • 统一接入:通过同一个网关入口使用公共推理、专属实例和商业模型 API。
  • 管理使用范围:区分个人与组织凭据,设置消费额度,管理模型服务的访问。
  • 提高稳定性:为同一模型配置多个上游,通过路由、健康检查与故障切换管理流量。
  • 了解使用情况:查看调用量、费用、首 Token 延迟、缓存命中率和上游健康状态。

详细能力与操作入口见核心能力。

服务来源与请求关系​

服务来源谁负责运行模型从哪里开始
第三方商业 API外部模型服务商管理员配置 Endpoint、上游凭据与模型名称
公共推理(Serverless API)平台管理员部署并维护使用已开通的模型,或由管理员创建公共推理
专属推理实例(Endpoint)实例所有者在平台上部署创建实例,再按实例 API 说明调用

应用把请求发送到网关;网关根据身份、服务配置与路由规则,将请求交给对应的上游。上游负责模型推理。模型仓库管理文件与版本,推理实例管理运行资源,网关管理应用对服务的访问。

应用使用网关 API Key 调用服务,管理员使用上游供应商凭据连接模型服务商。调用模型时,请从服务页面获取 API 地址与模型名称。

按任务开始​

当前任务推荐文档
完成第一次调用快速开始
接入自建或第三方模型接入与调用模型
给个人或团队配置访问凭据身份与访问权限
管理内容检测与调用数据内容安全与数据处理
配置多上游与排查故障切换路由与调用稳定性
设置额度或了解费用额度、计量与费用
查看运行情况或排查异常监控、日志与排障

版本说明​

  • 社区版(CE):提供 OpenAI 兼容的模型调用入口。实际接口支持取决于部署版本、推理框架与模型能力。
  • 企业版(EE):提供用量计量、配额和报表,不进行平台扣费;提供面向组织的管理能力,并扩展 Agent 运行时、沙盒环境、MCP Gateway 控制面及可选的 LLM 内容安全守卫。
  • 已开通计费功能的运营站点提供服务价格、消费账单、充值和发票等流程,参见模型服务商业化运营。这些流程与企业内部用量管理分别说明。

各模块中的管理页面和可选组件以部署版本及授权范围为准。调用前,请查看所选模型的参数说明,并确认当前身份具有服务访问权限。