跳到主要内容

AI Gateway

AI Gateway 是 CSGHub 管理后台的统一 AI 接口管理模块，整合了平台自建的公共推理服务、第三方商业 API 接入，以及 MCP Gateway 的集中管控能力。AI Gateway 菜单组位于左侧导航栏"算力管理"菜单组下方，包含以下三个子模块：

  • 公共推理：管理平台自建的 Serverless 推理服务。
  • 商业 API：配置和管理代理接入的第三方商业模型服务。
  • MCP Gateway：集中注册和管理远端的 MCP Server。

1. 公共推理 ​

管理平台对外提供的 Serverless 推理服务，支持按状态筛选，并可对每个服务配置计费策略。列表展示服务名称、状态、收费接口（是/否）以及价格（In/Out）。

点击编辑可配置：

  • 收费接口：开/关切换，开启后该模型 API 调用将按 Token 计费。
  • 输入 Token 价格：Prompt 阶段的 Token 单价，单位为元/百万 Token。
  • 输出 Token 价格：Completion 阶段的 Token 单价，单位为元/百万 Token。

alt text

2. 商业 API ​

配置和管理平台代理接入的第三方 AI 服务。

列表展示模型名称、提供商、状态以及价格（Input/Output）列，价格由详情页的 SKU 配置同步显示。

点击编辑可配置：

  • Endpoint URL 及授权凭证：第三方服务的接入地址与 API Key。
  • 价格（SKU）：设置输入/输出 Token 的对外售价（元/百万 Token），可手动填写或选择预设 SKU 套餐。
  • 简介（Summary）：对该模型的简短描述，展示在用户侧服务列表。
  • README：支持 Markdown 格式的详细说明文档，发布后同步至用户侧模型详情页供开发者查阅。

3. MCP Gateway ​

MCP Gateway 支持集中注册和管理远端的 MCP Server。通过设置 Endpoint URL、连接类型以及请求头，可将远端的 MCP Server 接入平台，为应用统一提供 MCP 服务访问入口。 alt text

支持编辑注册的 MCP Server，包括名称、描述、Endpoint URL、连接类型以及请求头。 alt text