Provably Robust DPO: Aligning Language Models with Noisy Feedback

📄 arXiv: 2403.00409v2 📥 PDF

作者: Sayak Ray Chowdhury, Anush Kini, Nagarajan Natarajan

分类: cs.LG, cs.CL

发布日期: 2024-03-01 (更新: 2024-04-12)

💡 一句话要点

提出鲁棒的DPO算法以解决噪声反馈问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 偏好学习 鲁棒优化 语言模型 噪声处理 直接偏好优化 机器学习 自然语言处理

📋 核心要点

  1. 现有的偏好反馈学习方法对高质量数据的依赖限制了其实际应用，尤其是噪声偏好对模型性能的影响。
  2. 本文提出了一种新的政策优化框架，设计了去偏差损失函数，使得训练出的政策在噪声影响下更为鲁棒。
  3. 实验结果表明，rDPO在IMDb情感生成和Anthropic的有用-无害数据集上，相较于传统DPO和其他方法表现出更强的抗噪声能力。

📝 摘要（中文）

基于偏好反馈的学习方法近年来受到关注，旨在使语言模型与人类兴趣对齐。然而，依赖高质量的偏好数据在实际应用中存在瓶颈，尤其是数据集中噪声偏好对模型捕捉人类意图的影响。本文提出了一种新的政策优化框架，专注于直接偏好优化（DPO）算法，设计了新的损失函数以减轻噪声影响，从而使训练出的政策在噪声下更为鲁棒。通过理论证明和实验验证，提出的鲁棒DPO（rDPO）在处理噪声偏好标签时表现优于传统DPO及其他启发式方法。

🔬 方法详解

问题定义：本文旨在解决在存在随机偏好翻转的情况下，如何有效优化语言模型的问题。现有的DPO算法假设偏好遵循Bradley-Terry-Luce（BTL）模型，但噪声数据会影响学习到的政策。

核心思路：提出了一种新的损失函数，旨在去偏差噪声对模型的影响，使得通过最小化该损失函数训练的政策在噪声环境下依然鲁棒。

技术框架：整体框架包括对偏好数据的处理、损失函数的设计以及政策优化的步骤。首先，识别并处理噪声偏好，然后应用新的损失函数进行政策训练。

关键创新：最重要的创新在于设计了去偏差损失函数，使得政策在面对噪声时仍能保持较低的次优性差距，这与传统方法的处理方式有本质区别。

关键设计：在政策类的对数线性参数化下，假设SFT政策具有良好的特征覆盖，证明了鲁棒DPO政策的次优性差距为$O(\frac{1}{1-2ε}\sqrt{\frac{d}{n}})$，其中$ε< 1/2$为标签翻转率，$d$为政策参数维度，$n$为数据集大小。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，rDPO在处理噪声偏好标签时，相较于传统DPO算法，表现出更高的鲁棒性。在IMDb情感生成任务中，rDPO的性能提升显著，具体数据未提供，但相对优势明显。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的对话系统、推荐系统及其他需要人机交互的场景。通过提高模型对噪声反馈的鲁棒性，可以在实际应用中更好地捕捉用户意图，从而提升用户体验和满意度。

📄 摘要（原文）

Learning from preference-based feedback has recently gained traction as a promising approach to align language models with human interests. While these aligned generative models have demonstrated impressive capabilities across various tasks, their dependence on high-quality human preference data poses a bottleneck in practical applications. Specifically, noisy (incorrect and ambiguous) preference pairs in the dataset might restrict the language models from capturing human intent accurately. While practitioners have recently proposed heuristics to mitigate the effect of noisy preferences, a complete theoretical understanding of their workings remain elusive. In this work, we aim to bridge this gap by by introducing a general framework for policy optimization in the presence of random preference flips. We focus on the direct preference optimization (DPO) algorithm in particular since it assumes that preferences adhere to the Bradley-Terry-Luce (BTL) model, raising concerns about the impact of noisy data on the learned policy. We design a novel loss function, which de-bias the effect of noise on average, making a policy trained by minimizing that loss robust to the noise. Under log-linear parameterization of the policy class and assuming good feature coverage of the SFT policy, we prove that the sub-optimality gap of the proposed robust DPO (rDPO) policy compared to the optimal policy is of the order $O(\frac{1}{1-2ε}\sqrt{\frac{d}{n}})$, where $ε< 1/2$ is flip rate of labels, $d$ is policy parameter dimension and $n$ is size of dataset. Our experiments on IMDb sentiment generation and Anthropic's helpful-harmless dataset show that rDPO is robust to noise in preference labels compared to vanilla DPO and other heuristics proposed by practitioners.