写点什么

LISA微调

0 人感兴趣 · 1 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/f5/f5a8e8cfaf36ae1eda32f2429ec79831.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

LLM 大模型学习必知必会系列 (七):掌握分布式训练与 LoRA/LISA 微调:打造高性能大模型的秘诀进阶实战指南

指令微调阶段使用了已标注数据。这个阶段训练的数据集数量不会像预训练阶段那么大,最多可以达到几千万条,最少可以达到几百条到几千条。指令微调可以将预训练的知识“涌现”出来,进行其他类型的任务,如问答类型的任务。一般指令微调阶段对于在具体行业上的

LISA微调_LISA微调技术文章_InfoQ写作社区