PLC-DPO: Posterior Label Correction in Noisy and Ambiguous Preference Optimization

📄 arXiv: 2608.30597v1 📥 PDF

作者: Boryeong Cho, Sumyeong Ahn, Se-Young Yun

分类: cs.LG, cs.CL

发布日期: 2026-08-31

备注: Findings of EMNLP 2026; Code is available at https://github.com/VennTum99/PLC-DPO

💡 一句话要点

提出PLC-DPO以解决偏好优化中的标签噪声问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 偏好优化 标签修正 策略学习 机器学习 数据噪声

📋 核心要点

  1. 现有的直接偏好优化方法假设所有偏好标签都是可靠的，但实际数据中常常存在噪声和模糊标签，导致策略更新不稳定。
  2. 本文提出的PLC-DPO通过将训练信号分类为干净、翻转或平局案例，利用校准的策略-参考边际进行在线修正，增强了偏好优化的鲁棒性。
  3. 实验结果显示，PLC-DPO在57个数据集-模型-基准单元中表现优异，胜率达到60.5%，明显优于传统DPO方法的55.5%。

📝 摘要（中文）

直接偏好优化（DPO）通过成对比较简化了对齐过程，但假设所有观察到的偏好都是可靠的。现实数据常常违反这一假设，导致标签反转、弱或模糊，从而引发有害的策略更新。为了解决这一问题，本文提出了后验标签修正DPO（PLC-DPO），通过将每对训练信号路由为干净、翻转或平局案例，稳健地优化偏好。关键思想是利用校准的策略-参考边际作为在线证据，采取适当的修正措施。这种方法将噪声偏好学习重新构架为主动修正监督方向和强度，而不仅仅是过滤可疑示例。在57个数据集-模型-基准单元中，PLC-DPO在胜率上优于DPO（60.5对55.5）。

🔬 方法详解

问题定义：本文旨在解决直接偏好优化（DPO）中由于标签噪声和模糊性导致的策略更新不稳定问题。现有方法假设所有观察到的偏好都是可靠的，但实际情况往往并非如此，导致策略性能下降。

核心思路：PLC-DPO的核心思路是将每对训练信号分类为干净、翻转或平局案例，并利用校准的策略-参考边际作为在线证据，进行适当的标签修正。这种方法不仅关注过滤可疑示例，而是主动修正监督的方向和强度。

技术框架：PLC-DPO的整体架构包括数据预处理、标签分类、策略校准和在线修正四个主要模块。首先，对输入数据进行预处理，然后根据策略-参考边际对每对偏好进行分类，最后实施在线修正以优化策略。

关键创新：PLC-DPO的主要创新在于其将噪声偏好学习视为主动修正过程，而非简单的过滤。这种方法使得模型能够在面对不可靠标签时，依然保持较高的学习效率和策略稳定性。

关键设计：在设计上，PLC-DPO采用了特定的损失函数来平衡不同类型标签的影响，并通过动态调整超参数来优化模型性能。此外，网络结构上引入了策略-参考边际的计算模块，以增强模型对标签噪声的适应能力。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在57个数据集-模型-基准单元的实验中，PLC-DPO的平均胜率达到60.5%，显著优于DPO的55.5%。此外，PLC-DPO在注入噪声和平局压力测试中的表现稳定，能够有效区分翻转和弱方向的偏好对。

🎯 应用场景

PLC-DPO的研究成果在多个领域具有广泛的应用潜力，特别是在需要处理不可靠数据的偏好学习和决策系统中。其方法可以有效提升推荐系统、自动驾驶和人机交互等领域的策略优化性能，未来可能推动这些领域的智能化进程。

📄 摘要（原文）

Direct Preference Optimization (DPO) simplifies alignment through pairwise comparisons but assumes all observed preferences are reliable. Real data often violates this assumption, leading to reversed, weak, or ambiguous labels that cause harmful policy updates. To address this, we propose Posterior Label Correction DPO (PLC-DPO) to robustly optimize preferences by routing each pair's training signal as a clean, flip, or tie case. The key idea is to use the calibrated policy-reference margin as online evidence to take appropriate correction actions. This reframes noisy preference learning as actively correcting supervision direction and strength rather than merely filtering suspicious examples. Across 57 dataset-model-benchmark cells, PLC-DPO obtains the best mean win rate against DPO (60.5 vs. 55.5 for the next-best method). Injected-noise and tie stress tests, human disagreement analysis, and self-confirmation diagnostics further show that the routing remains stable and distinguishes flipped from weakly directional pairs.