如何使用 LLaMA Factory 进行模型微调
LLaMA Factory 是一个高效的模型微调框架,帮助用户快速微调大型语言模型(LLMs)。对于新手用户,本文将介绍如何准备数据集并使用 LLaMA Factory Web UI界面零代码微调模型的重要训练参数,帮助您启动第一个模型的微调。
数据集准备
首先,我们可以从传神社区找到一个 LlaMA Factory 支持的模型,本教程将基于 OpenCSG 算法团队自研的预训练模型 “csg-wukong-1B”,使用LLaMA Factory 训练框架来进行微调。
进入模型页面,点击 微调实例
跳转至创建页面,完成实例创建并等待实例启动后,即可以开始进行模型微调。
LLaMA Factory 内置了一些默认数据集,放在 data
目录下。您可以直接使用内置数据集,也可以根据自己的需求上传私有数据集,将数据处理为框架特定的格式,放在 data
目录下,并在 dataset_info.json
文件中添加对数据集及其内容的描述和定义。
目前支持 Alpaca 格式和 ShareGPT 格式的数据集。您可以在 LLaMA Facotry 官方文档中查看对不同数据集的格式要求。
注:如果您需要使用自定义数据集,请确保在
data/data_info.json
文件中添加自定义数据集描述,并保证数据集格式的准确,否则可能会导致训练失败。