FocalPO：通过聚焦正确偏好排序增强偏好优化技术

摘要

高效偏好优化算法（如直接偏好优化 DPO）已成为对齐大语言模型（LLM）与人类偏好的主流方法。这些算法隐式将 LLM 视为奖励模型，重点修正错误排序的偏好对。然而，近期研究发现 DPO 训练极少改善这些错误排序对，尽管其梯度强调此类情况。

FocalPO 作为 DPO 的改进版本，降低错误排序对的权重，优先增强模型对已能正确排序对的理解。受视觉任务中 Focal Loss 启发，FocalPO 通过引入调制因子动态缩放 DPO 损失实现该目标。实验表明，FocalPO 在 Mistral-Base-7B 和 Llama-3-Instruct-8B 模型上，以固定超参数在 Alpaca Eval 2.0 等基准测试中超越 DPO 及其变体。此外，研究实证分析了 FocalPO 对正确与错误样本组的训练影响，进一步验证其有效性。

关键内容

1. 问题发现：DPO 虽设计用于修正错误排序偏好对，但实际训练中对此类对的改进效果有限。

2. 方法创新：

3. 引入调制因子动态调整损失权重，聚焦模型已有排序能力的偏好对。

4. 采用类似 Focal Loss 的机制，抑制错误排序对的梯度干扰。

5. 实验结果：

6. 在 Alpaca Eval 2.0 等基准测试中，FocalPO 显著优于 DPO 及其变体。

7. 消融实验揭示 FocalPO 通过平衡正确/错误样本的学习效率提升整体性能。

技术贡献

• 提出首个针对偏好排序能力动态调整损失权重的优化框架。

• 为 LLM 对齐任务提供可解释性更强的训练动态分析。

更多精彩内容 请关注我的个人公众号 公众号（办公 AI 智能小助手）公众号二维码

办公AI智能小助手