使用 DPO 在 SageMaker 中定制 Nova 模型
解决方案概述
在 SageMaker 训练作业中使用 Nova 定制配方的工作流程包含以下关键步骤：
选择特定 Nova 定制配方，该配方提供完整的配置参数来控制训练过程
通过 API 向 SageMaker 控制平面提交配方配置
SageMaker 使用训练作业启动脚本在托管计算集群上运行配方
训练完成后自动释放计算资源
业务用例实现
本案例重点优化 Nova Micro 模型在结构化函数调用方面的表现：
使用 nvidia/When2Call 数据集进行 DPO 训练
训练数据格式转换为 Nova 要求的聊天补全格式
采用参数高效微调(PEFT)技术降低计算成本
数据集准备
复制代码
DPO 训练配置
复制代码
模型评估结果
模型部署
训练完成的模型可通过 CreateCustomModel API 部署到推理服务：
复制代码
资源清理
为避免产生额外费用，请确保删除以下资源：
SageMaker 训练作业
模型部署实例
临时存储数据更多精彩内容 请关注我的个人公众号 公众号（办公 AI 智能小助手）公众号二维码
办公AI智能小助手
还未添加个人签名 2021-05-19 加入
还未添加个人简介
评论