微调框架介绍
CSGHub 支持以下微调框架，以满足不同场景的微调需求。
LLaMA-Factory
LLaMA-Factory 是一个统一且高效的微调框架，支持超过 100 种大型语言模型（LLMs）和视觉语言模型（VLMs）。该框架提供了多种微调方法，包括 LoRA、QLoRA 等，能够显著提升训练速度和效率。例如，与 ChatGLM 的 P-Tuning 相比，LLaMA-Factory 的 LoRA 微调在广告文案生成任务中训练速度提高了 3.7 倍，且取得了更好的 Rouge 得分。此外，LLaMA-Factory 还支持 4-bit 量化技术（QLoRA），进一步优化 GPU 内存使用效率。
链接
MS-SWIFT
MS-SWIFT 是一个灵活且高效的微调框架，支持 PEFT（参数高效微调）和全参数微调两种方式。该框架兼容多种模型和数据集，用户可以根据需求选择适合的微调方法。MS-SWIFT 提供了丰富的功能，包括对嵌入模型的微调、支持 GRPO（Group Relative Policy Optimization）算法，以及与 LMDeploy 的集成等。 此外，MS-SWIFT 还提供了详细的文档和示例，帮助用户快速上手并解决常见问题。
链接