Disentangling Length from Quality in Direct Preference Optimization

📄 arXiv: 2403.19159v2 📥 PDF

作者: Ryan Park, Rafael Rafailov, Stefano Ermon, Chelsea Finn

分类: cs.CL, cs.LG

发布日期: 2024-03-28 (更新: 2024-09-09)

💡 一句话要点

提出一种正则化策略以解决DPO中的长度偏见问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人类反馈强化学习 直接偏好优化 长度偏见 正则化策略 自然语言处理 模型训练

📋 核心要点

  1. 现有的直接偏好优化（DPO）方法未能有效控制长度偏见，导致模型输出冗长但不必要的内容。
  2. 本文提出了一种简单的正则化策略，旨在防止模型在生成内容时过度依赖长度，从而提高输出的质量和客观性。
  3. 实验结果显示，在不同数据集上，控制长度后模型的胜率提高了20%，有效验证了所提方法的有效性。

📝 摘要（中文）

人类反馈强化学习（RLHF）在大型语言模型的成功中扮演了重要角色，但其容易受到人类偏见的影响，尤其是冗长性。本文首次在直接偏好优化（DPO）中研究长度问题，发现DPO存在显著的长度利用现象，并将其与分布外自举联系起来。我们提出了一种简单而有原则的正则化策略，能够防止长度利用，同时保持模型质量的提升。实验结果表明，在摘要和对话数据集上，控制长度后，我们的模型在胜率上提高了20%。

🔬 方法详解

问题定义：本文解决的是在直接偏好优化（DPO）中，模型生成内容时过度依赖长度的问题。现有方法未能有效控制这一偏见，导致生成的内容往往冗长且不够客观。

核心思路：我们提出了一种简单的正则化策略，通过在训练过程中引入长度控制，来减少模型对长度的依赖，从而提升生成内容的质量。

技术框架：整体架构包括数据预处理、模型训练和评估三个主要阶段。在训练阶段，我们引入了长度正则化项，以约束模型生成的内容长度，同时保持其质量。

关键创新：本研究的主要创新在于首次在DPO框架下系统性地研究长度问题，并提出了有效的正则化策略，与传统RLHF方法相比，能够更好地控制生成内容的长度偏见。

关键设计：在模型训练中，我们设计了一个新的损失函数，结合了长度惩罚项和质量评估指标，以确保生成内容的简洁性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在摘要和对话任务中，应用所提正则化策略后，模型的胜率提高了20%。这一提升在控制长度的情况下，仍能保持生成内容的质量，表明该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的对话系统、文本摘要生成等场景。通过有效控制生成内容的长度，可以提升用户体验，减少冗余信息，从而在实际应用中具有重要的价值和影响。

📄 摘要（原文）

Reinforcement Learning from Human Feedback (RLHF) has been a crucial component in the recent success of Large Language Models. However, RLHF is know to exploit biases in human preferences, such as verbosity. A well-formatted and eloquent answer is often more highly rated by users, even when it is less helpful and objective. A number of approaches have been developed to control those biases in the classical RLHF literature, but the problem remains relatively under-explored for Direct Alignment Algorithms such as Direct Preference Optimization (DPO). Unlike classical RLHF, DPO does not train a separate reward model or use reinforcement learning directly, so previous approaches developed to control verbosity cannot be directly applied to this setting. Our work makes several contributions. For the first time, we study the length problem in the DPO setting, showing significant exploitation in DPO and linking it to out-of-distribution bootstrapping. We then develop a principled but simple regularization strategy that prevents length exploitation, while still maintaining improvements in model quality. We demonstrate these effects across datasets on summarization and dialogue, where we achieve up to 20\% improvement in win rates when controlling for length, despite the GPT4 judge's well-known verbosity bias.