个人微调大模型踩坑与记录

首先我们需要下载 ollama 下面为下载网址:
https://ollama.com/download/linux
如果下载慢的话,可以使用 windows 的 WSL 本地下载,最好配置一下代理。
网络问题这里我踩坑很久了,一直以为是服务器网的问题,原来是我的代理网比较差,一直是几 kb/s。在 3.13 发现了这个问题,后面都很顺利。
这个主要是为了 微调之后需要在本地持久化保存运行的工具,也可以用来当作下载玩模型的工具
第二步,下载 llama-factory。这是一个可视化低代码平台。下面是 github 地址。
https://github.com/hiyouga/LLaMA-Factory
下载的时候配置代理
有的时候 pip 的时候会产生 warning,就需要去掉代理
配置环境
我们需要在 linux 平台上配置一下准备环境。
首先
下载 curl 和 wget
下载 python3,还有 pip
下载并配置 conda
下载配置 git
下载配置 llama factory 的环境,创建 conda 环境。
我采用的数据是弱智吧的数据集,大家可以上网自行搜索,或者可以使用自己喜欢的数据集。
下面我放上数据集下载链接
https://huggingface.co/datasets/LooksJuicy/ruozhiba/tree/main
数据集配置
把 json 文件拖入到LLaMA-Factory/data
内,然后修改 dataset_info.json 的内容。
前面添加
这个 mydata,到时候在 llama-factory 的 ui 界面启动之后,会显示数据集的名称 就为 my_data。然后后面的"ruozhiba-title-good.json",改成下好的数据集的全称。

模型下载:
我们可以下载我们喜欢的模型,然后大小需要看一下 llama-factory 的推荐配置。

这里推荐下载模型的地址为:
https://www.modelscope.cn/models
选择模型库。
推荐使用
Qwen/Qwen2.5-0.5B-Instruct


然后下载模型即可。默认下载的位置为.cache 内。在下载的界面可以看到下载地址。
启动 UI 界面
第一行如果是多卡的话,可以修改成 0,1 或 0,1,2,3。我这里使用 4 块 4080,所以写
export CUDA_VISIBLE_DEVICES= 0,1,2,3
。下一步在浏览器打开网址。这里的地址为:
服务器地址:端口
,不能直接使用 0.0.0.0:端口。然后如果进去就报错的话需要打开一下端口的防火墙。
填写模型地址:
启动之后到这个界面

最上面模型名称就使用我们下载的模型的名称。然后模型地址填写 linux 内下载的模型的位置。

下一步在下面调试参数,如果我们需要看模型地址是否正确的话可以点击下面的 Chat,点击加载模型,如果加载成功的话,就说明模型位置正确

数据集的选择:

数据路径为 data,后面我们直接可以选到我们的数据集,然后点击预览 可以看到内容。

下一步就可以调参数训练了。
下面写一下我出现过的问题:
1、第一次下载的数据集有问题,里面的格式不是 Instruction。这里后台会显示。
2、第二次问题是下了一个 llama3 8B 的模型,训练的时候显存 OOM。所以还是推荐使用小一点的模型,这样的话 lora 微淘完,效果可能还好一些。
3、第三个问题是,不建议使用 Deepseek 的推理模型,这种模型微调结束后,感觉和没微调一个样子。
版权声明: 本文为 InfoQ 作者【Z C C C L】的原创文章。
原文链接:【http://xie.infoq.cn/article/7239bc49eddec3d3af3339bb2】。文章转载请联系作者。
评论