CSGLite 简介

CSGLite 是一款为桌面端设计的轻量化工具，旨在让用户在本地轻松运行大语言模型（LLM）。它集成了模型下载、本地推理、交互式聊天以及与 OpenAI 兼容的 REST API —— 所有功能都包含在单个二进制文件中。

核心特性

• 一键启动 — 通过 csghub-lite run 命令，自动完成下载、加载并进入聊天界面。
• 模型常驻 — 退出聊天后，模型默认在内存中保持加载状态（5分钟），以便下次瞬间重连。
• 自动启动服务 — 后台 API 服务会自动随命令启动，无需手动设置。
• 模型下载 — 支持从 CSGHub 官方平台（hub.opencsg.com）或私有部署环境下载模型。
• 本地推理能力 — 基于 llama.cpp，支持 GGUF 格式，并能自动转换 SafeTensors 模型。
• 流式交互聊天 — 提供流畅的命令行聊天体验，支持流式输出。
• REST API — 提供符合 Ollama 接口规范的 REST API。
• 跨平台支持 — 兼容 macOS、Linux 和 Windows。
• 断点续传与暂停 — 下载中断后可从上次位置继续，并支持在下载过程中暂停与恢复，节省时间和带宽。
• Web UI 可视化界面：
  • 模型库：管理本地已下载的模型，支持一键运行、删除和按格式筛选。
  • 市场：无需离开客户端即可浏览和一键下载传神社区（CSGHub）上的模型与数据集。
  • 聊天室：支持配置系统提示词、Temperature (温度)、Top-P、Context Length (上下文长度) 等推理参数的流式交互。
  • AI 应用 (AI Apps)：一键安装、配置和运行 Claude Code, Codex, OpenCode, OpenClaw, Dify 等代理和开发工具。
  • 设置中心：统一设置存储路径、系统语言（中/英）、上下文长度等参数。
• 丰富的三方集成：一键集成 OpenAI, DeepSeek, MiMo, Kimi, 百度千帆, MiniMax, OpenRouter 等大模型 API 提供商及编程 Agent 与 AI 应用。
• 数据集支持：支持从 CSGHub 下载并管理本地数据集，提供列出、查看详情及删除等功能。

支持模型格式

格式	下载支持	推理支持
GGUF	是	是（通过 llama.cpp）
SafeTensors	是	是（自动转换为 GGUF）

SafeTensors 检查点将使用捆绑的 llama.cpp convert_hf_to_gguf.py 和系统 Python进行一次性转换（发布包中未内置 PyTorch）。请安装这些包：

pip3 install torch safetensors gguf transformers

请确保在 PATH 中有 Python 3.10+（Windows 下为 python 或 python3）。部分模型可能需要额外的依赖（例如 sentencepiece）；有关完整列表和故障排除（如 gguf 版本不匹配、可选的 CSGHUB_LITE_CONVERTER_URL 环境变量），请参考 convert instruction。