Boosting Direct Preference Optimization with Penalization

📄 arXiv: 2606.12505 📥 PDF

作者: Pengwei Sun

分类: cs.LG, cs.AI

发布日期: 2026-06-12

💡 一句话要点

提出DPOP以提升离线偏好优化的效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线偏好优化 直接偏好优化 门控惩罚 自然语言处理 模型训练

📋 核心要点

  1. 现有的离线偏好优化方法如DPO仅利用静态数据集中的选择和拒绝响应，未能充分利用参考模型生成的响应信号。
  2. 本文提出DPOP，通过对参考贪婪响应施加门控惩罚，增强了偏好损失的效果，旨在提高模型的选择能力。
  3. 实验结果表明，DPOP在多个模型上均显著提高了长度控制的胜率，相较于基线方法有明显的性能提升。

📝 摘要（中文）

离线偏好优化已成为从人类反馈中进行强化学习的实际替代方案，但现有的成对目标如直接偏好优化（DPO）及其变体仅使用静态数据集中存储的选择和拒绝响应，未能利用参考模型对同一提示生成的响应信号。本文提出了带惩罚的直接偏好优化（DPOP），这是DPO的简单扩展，通过对参考贪婪响应施加门控惩罚来增强基础偏好损失。DPOP仅在当前策略对优选响应的可能性低于拒绝响应时激活该惩罚。在AlpacaEval 2.0上，DPOP在Llama-3-8b-it和Gemma-2-9b-it模型上相较于DPO、SimPO和AlphaDPO提高了长度控制的胜率，分别实现了5.3%和4.4%的相对增益。消融实验进一步表明，在该设置中，SimNPO风格的长度归一化惩罚优于NPO和基于token的非可能性惩罚。

🔬 方法详解

问题定义：本文旨在解决现有离线偏好优化方法未能利用参考模型生成的响应信号这一问题。现有方法如DPO仅依赖于静态数据集中的选择和拒绝响应，导致信息利用不足。

核心思路：DPOP的核心思路是通过对参考贪婪响应施加门控惩罚，增强基础偏好损失。该惩罚机制仅在当前策略对优选响应的可能性低于拒绝响应时激活，从而引导模型更好地学习偏好。

技术框架：DPOP的整体架构包括基础偏好损失和门控惩罚两个主要模块。基础偏好损失用于评估模型对选择和拒绝响应的偏好，而门控惩罚则在特定条件下激活，以调整模型的学习方向。

关键创新：DPOP的主要创新在于引入了门控惩罚机制，这一设计使得模型能够在学习过程中动态调整对优选响应的重视程度，与传统的DPO方法相比，DPOP能够更有效地利用参考模型生成的信号。

关键设计：在DPOP中，损失函数的设计考虑了基础偏好损失与门控惩罚的结合，确保在特定条件下激活惩罚。此外，模型的参数设置和网络结构经过优化，以适应新的损失函数设计，提升整体性能。

🖼️ 关键图片

fig_0

📊 实验亮点

在AlpacaEval 2.0的实验中，DPOP在Llama-3-8b-it和Gemma-2-9b-it模型上相较于DPO、SimPO和AlphaDPO分别提高了5.3%和4.4%的长度控制胜率，显示出显著的性能提升，验证了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的对话系统、推荐系统以及任何需要从人类反馈中学习的场景。通过提升离线偏好优化的效果，DPOP有望在实际应用中提高模型的响应质量和用户满意度，具有重要的实际价值和未来影响。

📄 摘要（原文）

Offline preference optimization has become a practical substitute for reinforcement learning from human feedback, but pairwise objectives such as Direct Preference Optimization (DPO) and its variants use only the chosen and rejected responses stored in a static dataset. This leaves a useful signal unused: the response that the reference model itself would generate for the same prompt. We propose Direct Preference Optimization with Penalization (DPOP), a simple extension of DPO that augments the base preference loss with a gated penalty on reference-greedy responses. DPOP activates this penalty only when the current policy still assigns a lower likelihood to the preferred response than to the rejected response. On AlpacaEval 2.0, DPOP improves length-controlled win rate over DPO, SimPO, and AlphaDPO on both Llama-3-8b-it and Gemma-2-9b-it, achieving relative gains of 5.3\% and 4.4\% over baselines on the two models, respectively. Ablations further show that a SimNPO-style length-normalized penalty is stronger than NPO and token-level unlikelihood in this setting.