源 2.0 大模型适配 LLaMA-Factory 框架微调训练快捷高效

作者：财见

2024-01-19
北京
本文字数：837 字
阅读完需：约 3 分钟

近日，源 2.0 开源大模型与 LLaMA-Factory 框架完成全面适配，用户通过 LLaMA-Factory，即可快捷、高效地对不同参数规模的源 2.0 基础模型进行全量微调及高效微调，轻松实现专属大模型。

LLM（大语言模型）微调，是指在大模型的基础上，针对特定任务或领域进行调整和优化，以提升模型的性能和表现，有效的微调方案与工具也正是解决基础大模型落地私有领域的一大利器。基于开源大模型的微调，不仅可以提升 LLM 对于指令的遵循能力，也能通过行业知识的引入，来提升 LLM 在专业领域的知识和能力。

当前，业界已经基于 LLM 开发及实践出了众多的微调方法，如指令微调、基于人类反馈的强化学习（RLHF，Reinforcement Learning from Human Feedback）、直接偏好优化（DPO，Direct Preference Optimization）等。以高效微调（PEFT，Parameter-Efficient Fine-Tuning）方案为例，可有效解决内存和计算资源的制约，通过 LoRA、QLoRA 等高效微调技术，在单张 GPU 上完成千亿参数的微调训练。因此，一个能够实现上述功能的简洁、高效且易用的微调框架正是开展 LLM 微调工作的最佳抓手。

LLaMA-Factory 是零隙智能（SeamLessAI）开源的低代码大模型训练框架，旨在为开发者提供可视化训练、推理平台及一键配置模型训练。基于 LLaMA-Factory, 用户可轻松选择业界最全面的微调方法和优化技术，通过使用私域数据，或是 LLaMA-Factory 内置的中文数据集（GPT-4 优化后的 alpaca 中文数据集、ShareGPT 数据集和 llama-factory 提供的模型认知数据集），对源 2.0 进行轻松微调，基于有限算力完成领域大模型的定制开发。实测数据显示，在一台搭载 8 颗 GPU 的主流 AI 服务器 NF5468M7，7 小时内即可实现千亿模型（Yuan2.0- 102B）的高效指令微调，10 分钟即可完成 Yuan2.0-2B 参数的指令微调，轻松实现即调即用。