Post-Training on PAI (5): PAI-EasyDistill, PAI 自研大模型蒸馏框架
引言
Post-Training（即模型后训练）作为大模型落地的重要一环，能显著优化模型性能，适配特定领域需求。相比于 Pre-Training（即模型预训练），Post-Training 阶段对计算资源和数据资源需求更小，更易迭代，因此备受推崇。
近期，我们将体系化地分享基于阿里云人工智能平台 PAI 平台在强化学习、模型蒸馏、数据预处理、SFT 等方向的技术实践，旨在清晰地展现 PAI 在 Post-Training 各个环节的产品能力和使用方法，欢迎大家随时交流探讨。
PAI-EasyDistill 介绍
知识蒸馏是一种将大模型的知识转移到小模型的方法，其核心思想是在不显著降低性能的前提下，通过训练将复杂的模型转化为更小、更高效的版本。通过这种方式，知识蒸馏不仅能够有效降低计算成本，还能够提高模型在资源受限环境中的适应性，从而为大规模应用提供更多可能。
在此背景下，阿里云人工智能平台 PAI 推出自研大模型蒸馏框架——EasyDistill（链接），旨在简化大型语言模型的知识蒸馏过程，助力参数量更小但性能卓越的大模型的实际应用。EasyDistill 具备多种功能模块，包括数据合成、基础和进阶蒸馏训练。通过数据合成，丰富训练集的多样性；基础和进阶蒸馏训练则涵盖黑盒和白盒知识转移策略、强化学习及偏好优化，从而提升小模型的性能。除了 EasyDistill 本身，这一框架还包括了蒸馏大模型 DistilQwen 系列以及相应的开源数据集，供用户使用。
本文将为大家介绍 PAI-EasyDistill 框架、基于 EasyDistil 的蒸馏开源模型家族 DistilQwen、客户真实使用案例及实操演示。
基础架构
数据合成
在训练大语言模型过程中，合成数据起着至关重要的作用。为解决在知识蒸馏中种子数据集规模通常有限的问题，PAI 在 EasyDistill 框架中集成了多种数据合成和增强操作，利用专有和开源的教师模型，显著提升训练数据规模与多样性。
专注于 NLP 任务指令数据合成。指令扩展通过增加指令数据集的数量，使模型能够获取更加丰富的上下文信息，从而提升训练集的知识覆盖率；指令优化则涉及去除冗余信息并提高指令的明确性，确保模型回复质量更高；自动生成指令-响应对的功能使得模型能够从非结构化文本中提取知识，为训练数据集注入更多的多样性。
专注于思维链。除生成思维链的算子外，进一步整合用于简化和扩展思维链的算子。思维链简化算子通过减少模型推理的复杂性，使思维链更加清晰连贯，提升模型推理效率。思维链扩展算子在复杂问题上提供更多详细步骤和逻辑链，增强模型解决复杂问题的能力。
基础蒸馏模型
在基础蒸馏训练模块中，EasyDistill 提供了黑盒化和白盒化的模型蒸馏训练功能。对于闭源大语言模型，其黑盒化知识蒸馏依赖于监督微调（SFT），将这些输出视为学生模型的真实值进行训练。但在数据有限的情况下，其效果可能受到限制。针对开源的教师语言模型，EasyDistill 提供精细白盒化训练策略。除 SFT 之外，还利用教师模型的隐藏知识进行指导，能够显著提升效果。
进阶蒸馏训练
上述黑盒化和白盒化模型蒸馏训练的核心原则在于让学生模型模仿教师模型的行为。但存在过拟合风险，限制泛化能力提升。EasyDistill 利用教师模型的反馈来训练奖励模型，并集成了多种流行算法用于训练学生模型，特别是对通用大语言模型的近端策略优化（PPO）和用于优化推理模型的群体相对策略优化（GRPO）。为解决 RL 算法在训练过程中的不稳定性问题，EasyDistill 集成了直接偏好优化（DPO）算法。并集成认知偏好优化（CogPO）算法，增强小模型的推理能力。
基于 EasyDistill 的蒸馏开源模型家族 DistilQwen
在 EasyDistill 的支持下，PAI 开发了一系列基于通义千问开源框架的蒸馏语言模型，称为 DistilQwen。这些模型充分利用知识蒸馏的方法，能够在减少模型参数量的同时保持高性能表现，特别适用于资源受限场景。同时，我们在 EasyDistill 框架的 Recipes 模块中提供了相关蒸馏算法的使用指引。DistilQwen 家族包括：DistilQwen2（链接）、DistilQwen2.5（链接）、DistilQwen2.5-R1（链接）、DistilQwen2.5-DS3-0324（链接）、DistilQwen-ThoughtX（链接）、DistilQwen-ThoughtY（链接）。
客户案例
助力内容生成场景的优化
客户痛点：客户 A 是一家领先的短视频社交平台，致力于通过技术创新驱动用户增长与内容生态繁荣。随着平台内容规模的不断扩大，如何高效、精准地生成高质量文案，成为提升用户参与度的关键命题。虽然大语言模型（如 DeepSeek-V3）在生成高质量文案方面表现优异，但其巨大的计算资源消耗，使得实际应用充满挑战。因此，在寻求高效的文案生成解决方案时，常常面临着性能效果和资源消耗的利弊权衡问题。
解决方案：基于 PAI-ModelGallery，结合先进的模型蒸馏算法，实现将文案生成能力从 DeepSeek-V3（671B 参数）蒸馏到 Qwen2.5-72B-Instruct。通过知识蒸馏技术，模型效果保持不变，同时大幅提升模型响应速度，有效降低推理部署成本。
助力客服业务场景的智能化
客户痛点：客户 B 作为线上物流平台，每天需要处理司机与乘客之间的售后纠纷问题。为提升问题响应效率，缩短售后流程，需要针对用户问题进行精确识别，推送其投诉途径和解决流程。传统的客服系统依赖人工处理，效率较低，且难以应对大量并发咨询。大语言模型（如 Qwen2.5-72B-Instruct）虽然能够理解并生成高质量回复，但由于计算资源消耗大，部署成本高昂，难以在客服场景规模化应用。
解决方案：针对客户痛点，PAI 利用模型蒸馏技术，帮助客户在保持语义理解和回复质量的同时，降低计算开销。方案使用 PAI-DistillQwen2.5-3B-Instruct 作为学生模型，Qwen2.5-72B-Instruct 作为教师模型，用教师模型对用户意图进行标注，并使用 SFT 的方式微调学生模型。为了进一步提升意图识别准确率上限，使用 DPO 算法进一步训练，确保生成内容更贴合用户期待，提升整体交互体验。
项目价值：通过模型蒸馏和优化，实现了高效的智能客服解决方案。相比原始大模型（Qwen2.5-72B-Instruct），PAI-DistillQwen2.5-3B-Instruct 模型规模缩减至约 4%，推理速度提升 90%，显著降低客服人力成本，提升了用户满意度。
实操演示
基于 EasyDistill 训练的 DistilQwen-ThoughtX 系列模型，结合创新的变长思维链推理技术，能够根据任务难度自适应调整推理步骤，避免传统思维链方法的“过度思考”问题。 接下来，为大家演示，如何在阿里云人工智能平台 PAI，进行 DistilQwen-ThoughtX 模型微调训练。
登录 PAI 控制台，左侧导航栏进入快速开始 > Model Gallery；在 PAI-Model Gallery 中选择 PAI-DistilQwen-ThoughtX 系列模型卡片，以 7B 为例，模型卡片如下图所示：
PAI 为 DistilQwen-ThoughtX-7B 模型配置了 SFT 和 DPO 两种微调算法，支持用户以开箱即用得方式对 PAI-DistilQwen-ThoughtX-7B 进行微调。SFT 训练算法支持使用 Json 格式输入，每条数据由问题、答案组成，分别用“instruction”、“output”字段表示，例如：
DPO 训练算法支持使用 Json 格式输入，每条数据由问题、预期模型输出的答案、不希望模型输出的答案组成，分别用"prompt"、"chosen"和"rejected"字段表示，例如：
当完成数据的准备，用户可以将数据上传到对象存储 OSS Bucket 中。算法需要使用 A10（24GB 显存）的 GPU 资源，请确保选择使用的资源配额内有充足的计算资源。
训练算法支持的超参信息如下，用户可以根据使用的数据，计算资源等调整超参，或是使用算法默认配置的超参。
点击“训练”按钮在 PAI- Model Gallery 上开始进行训练，用户可以查看训练任务状态和训练日志。
阿里云人工智能平台 PAI ，提供大语言模型数据增强与模型蒸馏解决方案，更多内容请参见 https://help.aliyun.com/zh/pai/use-cases/llm-data-enhancement-and-model-distillation-solution。
还未添加个人签名 2020-10-15 加入
分享阿里云计算平台的大数据和AI方向的技术创新和趋势、实战案例、经验总结。
评论