DistilQwen2 蒸馏小模型在 PAI-QuickStart 的训练、评测、压缩及部署实践
Qwen2（通义千问 2）是阿里云研发的开源大型语言模型系列，具有很强的代码、数学、推理、指令遵循、多语言理解等能力。DistilQwen2 是阿里云人工智能平台 PAI 基于 Qwen2 大模型推出的、通过知识蒸馏进行指令遵循效果增强的、参数较小的语言模型。这一系列模型在移动设备、边缘计算等资源受限的环境中具有更高的性能，在较小参数规模下，显著降低了所需的计算资源和推理时长。
阿里云的人工智能平台 PAI，作为一站式、 AI Native 的大模型与 AIGC 工程平台，对 DistilQwen2 模型系列提供了全面的技术支持。无论是开发者还是企业客户，都可以通过 PAI-QuickStart 轻松实现 DistilQwen2 系列模型的训练、评测、压缩和快速部署。本文详细介绍在 PAI 平台使用 DistilQwen2 蒸馏小模型的全链路最佳实践。
PAI-QuickStart 介绍
快速开始（PAI-QuickStart）是阿里云人工智能平台 PAI 的产品组件，它集成了国内外 AI 开源社区中优质的预训练模型，涵盖了包括大语言模型，文本生成图片、语音识别等各个领域。通过 PAI 对于这些模型的适配，用户可以通过零代码和 SDK 的方式实现从训练到部署再到推理的全过程，大大简化了模型的开发流程，为开发者和企业用户带来了更快、更高效、更便捷的 AI 开发和应用体验。
运行环境要求
本示例目前支持在阿里云北京、上海、深圳、杭州、乌兰察布、新加坡等多地域，使用 PAI-QuickStart 产品运行。
资源配置要求：
训练阶段：DistilQwen2-1.5B/7B 量级模型：最低使用 A10（24GB 显存）及以上卡型运行训练任务；
部署阶段：DistilQwen2-1.5B 需要的最低卡型配置为单卡 P4，推荐部署机型为单卡 GU30、单卡 A10、单卡 V100、单卡 T4 等；DistilQwen2-7B 需要的最低卡型配置为单卡 P100、单卡 T4、单卡 V100（gn6v）等，推荐部署机型为单卡 GU30、单卡 A10 等。
通过 PAI-QuickStart 使用模型
开发者可以在 PAI 控制台的“快速开始”入口，找到 DistilQwen2 系列模型，以 DistilQwen2-1.5B-Instruct 为例，模型卡片如下图所示：
模型部署和调用
PAI 提供的 DistilQwen2-1.5B-Instruct 预置了模型的部署配置信息，用户仅需提供推理服务的名称以及部署配置使用的资源信息即可将模型部署到 PAI-EAS 推理服务平台。
部署的推理服务支持使用 ChatLLM WebUI 进行实时交互，示例如下：
推理服务同样支持以 OpenAI API 兼容的方式调用。
模型微调训练
PAI 为 DistilQwen2 模型配置了 SFT 和 DPO 两种微调算法，支持用户以开箱即用得方式对 DistilQwen2-1.5B-Instruct 进行微调。SFT 训练算法支持使用 Json 格式输入，每条数据由问题、答案组成，分用“instruction”、“output”字段表示，例如：
DPO 训练算法支持使用 Json 格式输入，每条数据由问题、预期模型输出的答案、不希望模型输出的答案组成，分别用"prompt"、"chosen"和"rejected"字段表示，例如：
当完成数据的准备，用户可以将数据上传到对象存储 OSS Bucket 中。算法需要使用 A10（24GB 显存）的 GPU 资源，请确保选择使用的资源配额内有充足的计算资源。
训练算法支持的超参信息如下，用户可以根据使用的数据，计算资源等调整超参，或是使用算法默认配置的超参。
点击“训练”按钮，PAI-QuickStart 开始进行训练，用户可以查看训练任务状态和训练日志。
如果需要将模型部署至 PAI-EAS，可以在同一页面的模型部署卡面选择资源组，并且点击“部署”按钮实现一键部署。模型调用方式和上文直接部署模型的调用方式相同。
如果需要评测微调后模型的性能，可以从任务页面右上角评测按钮进入评测页。详情见下一节：模型评测。
模型评测
PAI 为 DistilQwen2 模型配置了评测算法，支持用户以开箱即用得方式对 DistilQwen2 以及微调后模型进行评测。通过评测能帮助用户和其他模型做性能对比，指导用户进行精准地模型选择和优化。
模型评测入口：
从“Model Gallery”页面完成 DistilQwen2 开源模型的评测
从训练任务详情页完成微调后模型的评测
模型评测支持自定义数据集评测和公开数据集评测：
自定义数据集评测
模型评测支持文本匹配指标 BLEU/ROUGLE，以及裁判员模型评测（专家模式）。用户可以基于自己场景的独特数据，评测所选模型是否适合自己的场景。
评测需要提供 JSONL 格式的评测集文件，每行数据是一个 List，使用 question 标识问题列，answer 标识答案列。示例文件：evaluation_test.jsonl
公开数据集评测
通过对开源的评测数据集按领域分类，对大模型进行综合能力评估。目前 PAI 维护了MMLU、TriviaQA、HellaSwag、GSM8K、C-Eval、TruthfulQA，其他公开数据集陆续接入中。
之后选择评测结果输出路径，并根据系统推荐选择相应计算资源，最后提交评测任务。等待任务完成，在任务页面查看评测结果。自定义数据集和公开数据集评测结果示例如下：
模型压缩
经过训练后的模型在部署之前可以对模型进行量化压缩以减小模型部署资源占用量，在模型训练任务界面可以创建模型压缩任务。和模型训练相同，配置压缩方式、压缩设置、输出配置以及计算资源后，创建压缩任务：
开始压缩之后可以看到压缩任务界面。当压缩完成后，点击部署即可对压缩后的模型进行一键部署。
通过 PAI-QuickStart 进行大模型蒸馏
除了可以在 PAI-QuickStart 使用 DistilQwen2 蒸馏小模型，PAI-QuickStart 还具备一系列能力对大语言模型训练所需的指令进行扩展和改写。通过在 PAI-QuickStart 部署教师大语言模型，以及用于指令增强和指令优化的专精小模型，用户可以轻松实现模型蒸馏的各个算法功能。更多技术的最佳实践，请参考“大语言模型数据增强与模型蒸馏解决方案”。
结论
在技术发展的快车道上，阿里云的 Qwen 模型系列和 DistilQwen2 模型系列为我们展示了大型语言模型在不同应用场景中的巨大潜力。通过知识蒸馏技术，DistilQwen2 在保持强大性能的同时，大幅度提升了在资源受限环境中的应用效率，成为移动设备和边缘计算的理想选择。阿里云的 PAI 平台则提供了强大的支持，使得开发者和企业客户可以更加轻松地部署和优化这些模型。本解决方案从全方位解析了在 PAI 平台使用 DistilQwen2 的最佳实践，为用户提供了清晰的指导和有价值的参考。
相关资源链接
DistilQwen2 介绍：
https://developer.aliyun.com/article/1633882
大语言模型数据增强与模型蒸馏解决方案：
https://help.aliyun.com/zh/pai/use-cases/llm-data-enhancement-and-model-distillation-solution
PAI 快速开始：
https://help.aliyun.com/zh/pai/user-guide/quick-start-overview
PAI Python SDK Github：
还未添加个人签名 2020-10-15 加入
分享阿里云计算平台的大数据和AI方向的技术创新和趋势、实战案例、经验总结。
评论