跳到主要内容

AI 网关

AI 网关 是 CSGHub 管理后台的统一 AI 接口管理模块，整合了网关运行概览大屏、平台自建的公共推理服务、第三方商业 API 接入，以及 MCP Gateway 的集中管控能力。AI 网关菜单组位于左侧导航栏"算力管理"菜单组下方，包含以下四个子模块：

  • 网关概览：实时可视化监控 AI 网关的流量、性能、通道健康度及调用分布。
  • 公共推理：管理平台自建的 Serverless 推理服务。
  • 商业 API：配置和管理代理接入的第三方商业模型服务。
  • MCP Gateway：集中注册和管理远端的 MCP Server。

1. 网关概览 ​

网关概览模块提供可视化监控大屏，帮助管理员实时掌握 AI 网关的流量运行状态、服务性能与节点健康指标。

网关概览大屏

1.1 全局筛选控制​

页面侧栏提供全局筛选面板，支持按 时间范围（如当前天、最近 24 小时等）及 指定模型 对概览页的所有统计图表进行动态联动过滤。

1.2 核心指标看板​

顶栏展示网关的核心运行与性能指标：

  • 首 Token 延迟：统计流式请求的首字生成延迟，反映流式响应的生成延迟与交互体验。
  • 并发数：展现当前瞬时网关维持的活动并发请求数与连接负载。
  • 缓存率：统计请求命中 Prompt 缓存的比例，便于评估上下文复用率与成本优化效果。

1.3 流量与延迟趋势​

  • 流量与并发量趋势：通过折线图展示每秒请求数与活动并发数的变化曲线。
  • 延迟分布趋势：展示首字延迟与响应延时分布，协助运维人员快速捕获偶发时延毛刺。

1.4 通道状态与热门分布​

  • 上游通道状态：汇总显示健康、亚健康与不可用的上游节点数量。
  • 流量前 5 上游渠道：呈现请求量最高的前 5 个模型或上游渠道，直观展示流量分发比例与各上游节点的成功率表现。

2. 公共推理 ​

公共推理模块用于管理平台对外提供的自建 Serverless 推理服务。该模块支持按服务状态进行筛选，并可针对每个服务定制精细化的计费策略。

2.1 触发与新建​

公共推理服务无法直接在 AI 网关模块中创建。管理员需要前往 资产管理 -> 模型，进入目标模型的详情页触发新建。

新建公共推理

新建公共推理时，需配置以下参数：

  • 集群（必填）：选择该服务部署的物理或虚拟集群区域。
  • 部署名称（必填）：自定义该 Serverless 推理服务的部署标识。
  • 变量与密钥（选填）：支持为推理环境配置自定义公开环境变量（通过点击 + 新增公开变量）。
  • 最大/最小副本数：控制服务的自动弹性伸缩范围。将最小副本数设为 0 时，服务将支持 Scale-to-Zero（空闲缩容至零），在无请求时自动释放算力，有新请求时自动冷启动。
  • 资源（必填）：选择服务运行的硬件规格。
  • 运行时框架（必填）：选择模型加载的推理引擎/运行时框架，例如 llama.cpp。
  • 框架参数（选填）：支持为推理框架配置高级自定义运行参数，用以优化模型推理表现。
  • 量化（必填）：对于量化模型，需选择模型仓库中对应的量化权重文件（例如 .gguf 格式文件）。

2.2 服务管理与编辑​

新建并启动服务后，该服务会同步展示在 AI网关 -> 公共推理 的列表页面。管理员可以在此查看运行状态、进行服务生命周期管理，进入详情页后可对模型运行参数进行修改。

公共推理列表

3. 商业 API ​

商业 API 模块用于代理接入、统一管控及对外分发第三方的商业大模型服务。

3.1 列表管理​

在商业 API 列表页中，系统展示了当前接入的所有商业模型信息，包括：ID、模型名称、模型参数量(B)、价格、类型、启用状态以及可用状态（当通道连接和凭证配置正常时显示绿色“可用”标识，否则显示红色“不可用”标识）。

商业 API 列表

3.2 新建与编辑配置​

点击 新建商业 API ，将进入配置表单页面。

新建/编辑商业 API

配置项包括以下四个主要维度：

A. 基本信息 (Basic Info)​

  • 模型名称（必填）：商业 API 服务对外的统一模型标识。
  • 模型参数量 (B)（选填）：标示该商业模型的参数规模，默认配置为 0。
  • 关联模型（选填）：可选择绑定平台内部已托管的仓库，用于在用户侧进行模型介绍。

B. 路由策略 (Routing Policy)​

用于控制多上游服务节点之间的请求分流与路由：

  • 路由策略类型：控制流量分发到不同上游节点的算法：
    • 轮询 (Round Robin)：请求按顺序依次分配。适用于图片生成、翻译等单次、非会话型任务，可确保后端负载最均衡。
    • 会话哈希 (Consistent Hashing)：根据特定标识进行哈希，使相同会话的请求锁定路由至同一节点。适用于多轮对话和 Agent 交互，可最大化利用上游 Prompt Cache (KV Cache) 缩短首字延迟。
      • 会话头（选填）：指定计算哈希的 HTTP 请求头（如 X-Session-Id）。留空则默认按调用者 ID 分流。
      • 哈希副本数（选填）：哈希环的虚拟节点数（默认 64），值越高流量分布越均衡。

C. 上游节点 (Upstream Nodes)​

支持配置多个提供相同模型能力的上游服务节点，提供高可用与权重负载均衡能力。点击 添加上游节点 可配置：

  • Endpoint URL 与 授权凭证：第三方服务的 API 接入地址（如 https://api.openai.com/v1）与对应的 API Key。
  • 权重（Weight）：在上游节点间分配流量的权重比例。
  • 状态/健康状态：展示当前上游节点的网络连通性与健康状态。

D. 属性与高级配置​

  • 启用状态：全局开关，一键启用或禁用该商业 API 代理通道。
  • 启用敏感检查：开启后，该商业 API 的所有输入与输出内容均会自动流经平台敏感词过滤系统，防止违规内容输出。
  • 模型能力：选择该模型具备的能力标签（如 text-generation, text-to-image 等）。
  • 自定义属性：提供 JSON 编辑器，允许管理员配置个性化的 KV 属性，以支持更灵活的业务扩展需求。

4. MCP 网关 ​

MCP Gateway 支持集中注册和管理远端的 MCP Server。通过设置 Endpoint URL、连接类型以及请求头，可将远端的 MCP Server 接入平台，为应用统一提供 MCP 服务访问入口。 alt text

支持编辑注册的 MCP Server，包括名称、描述、Endpoint URL、连接类型以及请求头。 alt text