跳到主要内容

安装介绍

版本历史:

  • 从 v0.9.0 开始,CSGHub 将不再支持 Gitea 作为 git 后端。
  • 从 v1.1.0 开始,添加 Temporal 组件作为异步/计划任务执行器。
  • 从 v1.3.0 开始,CSGHub 从 docker-compose/helm-chart 安装程序中移除 gitea。
  • 从 v1.6.0 开始,Space Builder 被移除,其功能由 runner 继承。
  • 从 v1.7.0 开始,CSGHub 内部集成 starship。
  • 从 v1.8.0 开始,新增 Notification 服务。
  • 从 v1.9.0 开始,csghub helm chart ce/ee 合并。
  • 从 v1.14.0 开始,开启 XNet 存储 beta 测试。

介绍

CSGHub 是一个开源、可信的大模型资产管理平台,可帮助用户治理 LLM 及其应用生命周期中涉及到的资产(数据集、模型文件、代码等)。基于 CSGHub,用户可以通过 Web 界面、Git 命令行或者自然语言 Chatbot 等方式,实现对模型文件、数据集、代码等资产的操作,包括上传、下载、存储、校验和分发;同时平台提供微服务子模块和标准化 API,便于用户与自有系统集成。

CSGHub 致力于为用户带来针对大模型原生设计的、可私有化部署离线运行的资产管理平台。CSGHub 提供类似私有化的 Hugging Face 功能,以类似 OpenStack Glance 管理虚拟机镜像、Harbor 管理容器镜>像以及 Sonatype Nexus 管理制品的方式,实现对 LLM 资产的管理。

关于 CSGHub 的介绍,请参考:

部署方式

本项目主要介绍 CSGHub 的多种安装方式。

目前 CSGHub 主要提供以下几种安装方式:

服务介绍

CSGHub 项目由多个模块组成,每个模块承担着特定的职责,共同构建出一个高效、可扩展的模型与数据工作平台。以下是当前系统中各组件的优化说明:

核心前后端服务

  • portal

    提供用户界面展示与交互,作为 Web 前端入口。

  • server

    核心服务端逻辑与主要 API 提供者,处理来自 portal 和外部客户端的业务请求。

  • user

    用户中心模块,处理用户注册、登录、权限、认证逻辑等身份管理相关功能。

  • rproxy

    负责部署实例相关的反向代理与请求路由,例如将 Space 应用的操作请求转发至 Knative Serving 服务。

  • nginx

    统一的外部入口代理,负责 TLS、路由、静态资源分发等边缘代理功能。

AI Gateway 与内容安全

  • gateway / aigateway

    AI 服务访问的统一入口,对模型推理请求进行路由、熔断、限流、计费、鉴权等管理。

  • moderation(如果实际部署在 server 或 aigateway 内则无需独立)

    敏感内容检测与风控服务。

计费与通知

  • accounting

    资源计费系统,对模型推理、空间等资源的使用量进行统计计费。

  • notifier

    负责站内与站外消息通知,例如邮件通知、Webhook、系统消息等。

数据与模型相关组件

  • mirror_repo

    模型与数据集的仓库同步服务,将 opencsg.com 上的仓库同步到本地。

  • mirror_lfs

    负责同步大文件(LFS)内容。

  • dataviewer

    提供数据集在前端的快速预览功能,例如 CSV、图像等格式的可视化。

任务系统(Temporal

  • temporal

    用于管理和调度耗时任务(异步任务),例如资源同步、构建任务等。

  • temporal_worker

    实际执行 Temporal 中的异步任务的执行器。

  • temporal_ui

    Temporal 的可视化管理界面,便于查看任务状态与调度情况。

代码仓库存储与 Git 相关

  • gitaly

    Git 高性能存储后端,负责所有 Git 仓库操作。

  • gitlab_shell

    Git over SSH 接口,负责 SSH 方式的 Git 操作请求。

基础设施服务

  • postgresql

    系统的核心数据库,用于存储元数据。

  • redis

    用作缓存、临时数据存储、会话存储等。

  • minio

    本地对象存储,用于模型文件、数据集、推理产物等静态对象。

  • registry

    容器镜像仓库,用于存储空间应用等构建产物。

  • nats

    事件与消息总线,用于微服务间的高效异步通信。

日志与监控

  • loki

    集中式日志收集与存储系统,与 promtail / fluentd 配合使用。

  • fluentd(未出现在 runit,但你原文提到,若存在则补充)

    可选的日志收集器,将日志统一汇聚到 Loki/S3/ES 等存储后端。

  • prometheus

    监控指标采集与存储,用于服务性能监控与告警。

网络与内部组件

  • casdoor

    用户身份认证系统,配合 user 服务共同提供登录、OAuth 等身份能力。

  • xnet

    内部网络管理/边车服务(视你们自研功能而定),常用于系统内部网络代理或统一出口。