LLM 大模型学习必知必会系列 (七)：掌握分布式训练与 LoRA/LISA 微调：打造高性能大模型的秘诀进阶实战指南

汀丶人工智能

05-28

指令微调阶段使用了已标注数据。这个阶段训练的数据集数量不会像预训练阶段那么大，最多可以达到几千万条，最少可以达到几百条到几千条。指令微调可以将预训练的知识“涌现”出来，进行其他类型的任务，如问答类型的任务。一般指令微调阶段对于在具体行业上的