网络要求
1. 说明
CSGHUB 作为分布式云原生 AI 托管平台,网络是其稳定运行的核心支撑,主要承担以下核心职责:
- 集群节点间通信:保障 Kubernetes 集群各节点协同工作,支撑集群调度与管理
- 服务间调用:实现平台内部微服务的高效交互,保障业务流程顺畅衔接
- 数据传输:负责模型、数据集、容器镜像等大文件的上传与下载,直接影响业务效率
- 外部访问:支撑用户通过 Web 界面、API 接口访问平台,保障访问体验与稳定性
- AI 任务通信:为 Dataflow、Runner、模型推理等 AI 相关任务提供通信支撑,保障任务正常执行
👉 网络性能直接决定以下关键指标,需重点关注:
- 任务执行效率:网络延迟、带宽直接影响 AI 任务、数据处理任务的完成速度
- 模型加载速度:大模型(GB~TB 级)的加载速度完全依赖网络传输能力
- 系统稳定性:网络波动、丢包会导致服务调用超时、Pod 重启、任务失败等问题
2. 网络架构分层
为保障网络架构的清晰性、可维护性与高性能,建议将平台网络划分为以下四层,各层独立承担对应职责,协同保障整体网络稳定:
2.1 节点间网络
核心用途:Kubernetes 集群各节点之间的通信,以及 Pod 调度与控制面的交互,是集群正常运行的基础。
核心要求:
| 项目 | 建议配置 |
|---|---|
| 带宽 | ≥ 1 Gbps(测试/开发环境);≥ 10 Gbps(生产环境) |
| 延迟 | ≤ 1 ms(同机房部署,确保节点间交互无延迟) |
| 丢包率 | 接近 0(避免因丢包导致节点通信异常、任务中断) |
2.2 Pod网络(CNI)
核心用途:实现 Pod 与 Pod 之间的通信,以及外部对 Pod 服务的网络访问,是平台微服务交互的核心载体。
核心要求:
- 选用稳定可靠的 CNI 插件,优先推荐以下两种:
- Calico:兼容性强、配置简单,适配大多数部署场景,稳定性突出
- Cilium:高性能、低延迟,支持 eBPF 加速,适合高并发、低延迟的 AI 场景
- 必须支持 NetworkPolicy 网络策略,实现 Pod 之间的安全隔离,保障平台网络安全。
2.3 存储网络
核心用途:为分布式存储(Ceph / Longhorn)、NFS / NAS、对象存储(S3)等存储服务提供通信支撑,保障数据读写的高效与稳定。
核心要求:
| 项目 | 建议配置 |
|---|---|
| 带宽 | ≥ 10 Gbps(保障大文件读写、数据集传输的效率) |
| 网络隔离 | 建议独立 VLAN 部署,避免与其他网络业务抢占带宽,提升存储访问稳定性 |
| 延迟 | 越低越好,直接影响存储 IO 性能,进而影响 AI 训练、数据处理任务效率 |
2.4 外部访问网络
核心用途:支撑用户访问 Web UI、API 接口调用,以及模型、数据集的外部上传与下载,是平台与用户交互的入口。
核心组件:
- Ingress/Gateway Controller:推荐使用 Nginx 或 EnvoyGateway,实现外部访问的路由转发、负载均衡与 SSL 终止
- LoadBalancer / NodePort:根据部署规模选择,生产环境优先使用 LoadBalancer,保障外部访问的高可用
3. 不同场景网络要求
根据部署场景(测试/开发、中小规模生产、大规模生产/AI 场景)的差异,网络配置要求有所不同,以下为针 对性建议:
3.1 测试/开发环境
适用场景:功能验证、本地开发、单人使用,对网络性能要求较低,优先保障可用性。
| 项目 | 要求 |
|---|---|
| 带宽 | ≥ 100 Mbps(满足基础的服务启动、小文件传输需求) |
| 延迟 | 无严格要求,不影响基础功能使用即可 |
| 网络拓扑 | 单机或简单局域网即可,无需复杂架构 |
3.2 中小规模生产
适用场景:10~100 人团队使用,涉及模型/数据集管理、中等规模任务调度,需保障网络稳定性与基础性能。
| 项目 | 要求 |
|---|---|
| 节点带宽 | ≥ 1 Gbps(满足多节点协同、中等规模数据传输需求) |
| 存储网络 | ≥ 10 Gbps(推荐),保障存储 IO 性能,避免拖慢业务进度 |
| 外网出口 | ≥ 100 Mbps,满足外部访问、模型下载等需求 |