Reliability-Weighted Direct Preference Optimization: Penalized Weights for Robust Preference Learning

📄 arXiv: 2610.41588v1 📥 PDF

作者: Bin Luo, Param Venkat Vivek Kesireddy, Anil Vallepu

分类: stat.ML, cs.LG, stat.ME

发布日期: 2026-10-30

💡 一句话要点

提出RW-DPO以解决偏好学习中的噪声数据问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 偏好学习 鲁棒优化 直接偏好优化 可靠性权重 噪声数据处理 机器学习 推荐系统

📋 核心要点

  1. 现有的直接偏好优化方法假设所有比较都是正确的，未能有效处理噪声数据，导致偏好学习的准确性下降。
  2. RW-DPO通过为每个比较引入可靠性权重，结合最小化-凹惩罚，能够有效地识别和调整噪声比较，提高偏好学习的鲁棒性。
  3. 实验结果表明，RW-DPO在估计误差上优于传统DPO和其他鲁棒方法，尤其在处理翻转标签时表现出色。

📝 摘要（中文）

直接偏好优化（DPO）将每个报告的比较视为正确，但偏好数据中存在反转、平局或其他噪声比较。RW-DPO为每个比较赋予一个未知的可靠性权重$w_i ext{∈}[0,1]$，并通过对$- ext{log} w_i$的最小化-凹惩罚共同估计权重和策略。该惩罚确保模型同意的每个比较的权重为1，仅对矛盾的比较进行调整。研究证明，从每个比较的单一注释中恢复所有翻转比较需要的边际为$ ext{log} n$。在模拟中，RW-DPO的平均估计误差最低，且在标签翻转率为10-30%时，其胜率不随翻转率增加而下降，超越了基于干净标签训练的DPO。

🔬 方法详解

问题定义：本论文旨在解决直接偏好优化（DPO）中对噪声比较的处理不足，现有方法未能考虑比较的可靠性，导致学习结果不准确。

核心思路：RW-DPO通过为每个比较引入一个可靠性权重$w_i$，并在损失函数中应用最小化-凹惩罚，来共同估计权重和策略，从而提高模型对噪声的鲁棒性。

技术框架：RW-DPO的整体架构包括：1）为每个比较分配可靠性权重；2）通过最小化-凹惩罚更新权重；3）联合估计偏好方向和权重。

关键创新：RW-DPO的主要创新在于引入了可靠性权重的概念，并通过惩罚机制确保模型同意的比较权重为1，仅对矛盾的比较进行调整，这与传统DPO方法的假设有本质区别。

关键设计：在损失函数中，使用$- ext{log} w_i$的最小化-凹惩罚，确保模型在处理翻转比较时能够有效更新权重，且计算成本与DPO相当。

📊 实验亮点

RW-DPO在模拟实验中表现出最低的平均估计误差，相较于传统DPO和其他鲁棒方法，其在10-30%翻转标签的情况下，胜率未随翻转率增加而下降，且超越了基于干净标签训练的DPO，显示出显著的鲁棒性提升。

🎯 应用场景

RW-DPO在偏好学习、推荐系统和人机交互等领域具有广泛的应用潜力。通过提高对噪声数据的鲁棒性，该方法能够更准确地捕捉用户偏好，从而提升系统的整体性能和用户体验。未来，RW-DPO还可能扩展到其他需要处理不确定性和噪声的机器学习任务中。

📄 摘要（原文）

Direct Preference Optimization (DPO) treats every reported comparison as correct, yet preference data contain reversed, tied or otherwise noisy comparisons. RW-DPO gives each comparison an unknown reliability weight $w_i\in[0,1]$ that enters the likelihood linearly -- DPO is $w\equiv1$, a reversed comparison $w_i=0$ -- and estimates the weights jointly with the policy under a minimax-concave penalty on $-\log w_i$. The penalty keeps every comparison the model agrees with at exactly $w_i=1$ and acts only on those it contradicts, through closed-form weight updates at negligible cost over DPO. We prove that recovering all flipped comparisons from a single annotation per comparison requires margins of order $\log n$. Furthermore, in a linear-index model, starting from an initial fit pointing in the correct direction, our estimator jointly consistently recovers the preference direction and weights, as well as identifies the flipped comparisons above this margin scale, even when a fixed fraction of comparisons is flipped. In simulations RW-DPO has the lowest average estimation error among DPO, noise-rate corrections and recent robust methods, with far more precise flags than recent label-correction methods. In DPO fine-tuning of a language model with 10-30% flipped labels, its win rate does not fall as the flip rate grows and exceeds that of DPO trained on clean labels, matching the strongest recent method with corrections concentrated on the flipped labels.