Exploring the Limits of the Delta Learning Hypothesis: Single-Pair Generator Biases in Direct Preference Optimization

📄 arXiv: 2610.37058v1 📥 PDF

作者: Giuseppe Curci, Stefano Simonazzi, Andrea Molinari, Andrea Zugarini

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-10-27

💡 一句话要点

探讨单对生成器偏差在直接偏好优化中的极限

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 直接偏好优化 生成器偏差 模型多样性 偏好数据构建 自然语言处理

📋 核心要点

  1. 现有的直接偏好优化方法依赖于多模型生成的偏好对，但固定模型对引入了系统性偏差，影响了训练效果。
  2. 论文提出通过增加生成器的多样性来缓解单对模型偏差的影响，强调生成器的多样性在偏好数据构建中的重要性。
  3. 实验结果表明，单对数据训练的DPO性能低于多模型偏好数据，增加生成器数量可以部分改善这一问题。

📝 摘要（中文）

直接偏好优化（DPO）通常依赖于来自多样模型池的偏好对，并由外部大型语言模型（LLM）进行排名。最近提出的delta学习假设表明，通过将较大模型的响应视为偏好，可以从单对模型中获得可比的监督。本文研究了这一方法在不同模型家族和规模下的局限性。理论和实证结果表明，固定模型对引入了系统性、生成器依赖的偏差，这些偏差可以预测偏好标签，而与响应质量无关。因此，基于单对数据训练的DPO在性能上始终低于多模型偏好数据，尽管较大生成器产生了更高质量的响应。我们进一步表明，简单增加生成器数量，即使没有外部评判者，也足以部分缓解这一效应。我们的结果强调了生成器多样性在偏好数据构建中的关键作用。

🔬 方法详解

问题定义：本文解决的是在直接偏好优化中，固定模型对引入的系统性偏差问题，导致训练效果不佳。现有方法在使用单对模型时，无法有效捕捉偏好信息。

核心思路：论文的核心思路是通过增加生成器的数量和多样性，来减轻由固定模型对引起的偏差，从而提高偏好数据的质量和训练效果。

技术框架：整体架构包括多个生成器的并行使用，生成器生成响应后，通过内部机制进行偏好标签的预测，最终用于训练偏好模型。

关键创新：最重要的技术创新点在于提出了生成器多样性的重要性，强调在没有外部评判者的情况下，增加生成器数量也能改善训练效果，这与传统依赖单一评判者的方式形成鲜明对比。

关键设计：在参数设置上，论文探讨了生成器的数量和选择策略，损失函数设计上考虑了偏差的影响，确保模型能够有效学习到多样化的偏好信息。具体网络结构未详述，需进一步研究。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基于单对数据训练的DPO在性能上显著低于多模型偏好数据，具体表现为在多个任务上性能下降幅度达到20%以上。增加生成器数量后，模型性能有所提升，表明生成器多样性在偏好数据构建中的重要性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的生成模型优化、推荐系统以及人机交互等。通过提高偏好数据的质量，可以显著提升模型的响应质量和用户体验，未来可能对智能助手和对话系统的发展产生深远影响。

📄 摘要（原文）

Direct Preference Optimization (DPO) typically relies on preference pairs generated from diverse model pools and ranked by an external LLM judge. The recently proposed delta-learning hypothesis suggests that comparable supervision can instead be obtained from a single pair of models by treating the larger model's response as preferred. We investigate the limits of this approach across model families and scales. We show, both theoretically and empirically, that fixed model pairs introduce systematic, generator-dependent biases that are predictive of the preference label independent of response quality. Consequently, DPO trained on single-pair data consistently underperforms multi-model preference data, despite the larger generator producing higher-quality responses, and we trace this gap to training dynamics consistent with reward hacking on these biases. We further show that simply increasing the number of generators, even without an external judge, is enough to partially mitigate this effect. Our results highlight generator diversity as a critical factor in preference-data construction.