On the Sparsity of Direct Preference Optimization: Weight Disentanglement in the NTK Regime

📄 arXiv: 2610.37085v1 📥 PDF

作者: Kensuke Sasaki, Issei Sato

分类: cs.LG

发布日期: 2026-10-27

💡 一句话要点

提出双稀疏性概念以解释直接偏好优化中的稀疏参数更新

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 直接偏好优化 稀疏性 神经切线核 最大边际偏差 模型合并 用户偏好对齐 多任务学习

📋 核心要点

  1. 现有的直接偏好优化方法缺乏理论解释，尤其是在稀疏参数更新方面的现象。
  2. 本文提出双稀疏性概念，分析DPO的优化动态，并揭示其隐式最大边际偏差的特性。
  3. 实验结果表明，DPO在多个模型上减少跨任务干扰的效果显著，提升幅度达到35倍。

📝 摘要（中文）

直接偏好优化（DPO）已广泛应用于将语言模型与人类偏好对齐。近期的实证研究表明，DPO会导致显著的稀疏参数更新，但尚未提供理论解释。本文分析了DPO在神经切线核线性化下的优化动态，指出DPO损失的逻辑结构引发了隐式的最大边际偏差。基于此，我们引入双稀疏性概念，表明DPO更新方向是稀疏线性组合，结合了数据层面的稀疏性和参数层面的稀疏性。通过主要定理形式化该结构，并将双稀疏性与权重解耦联系起来，提出了有利于模型合并的条件。实验结果验证了稀疏性的两个来源，并显示DPO在减少跨任务干扰方面的显著优势。

🔬 方法详解

问题定义：本文旨在解决直接偏好优化（DPO）中参数更新稀疏现象的理论解释问题。现有方法未能充分理解DPO的优化动态，导致对其效果的认识不足。

核心思路：论文提出双稀疏性概念，分析DPO损失的逻辑结构，指出其隐式最大边际偏差的特性，从而解释参数更新的稀疏性。

技术框架：研究通过神经切线核线性化分析DPO的优化过程，构建了一个理论框架，形式化了双稀疏性结构，并将其与权重解耦联系起来。

关键创新：最重要的创新在于引入双稀疏性概念，明确了DPO更新方向的稀疏线性组合特性，揭示了数据层面和参数层面的稀疏性之间的关系。

关键设计：在实验中，使用了多种模型（如GPT-2和Llama-3等），并通过Anthropic HH-RLHF和UltraFeedback数据集进行验证，展示了DPO在减少跨任务干扰方面的有效性。损失函数和参数设置经过精心设计，以确保实验结果的可靠性。

📊 实验亮点

实验结果显示，DPO在GPT-2模型上减少跨任务干扰的效果显著，提升幅度达到35倍，相较于传统的监督微调方法，展示了更优的性能和适应性。这一发现为直接偏好优化的理论基础提供了实证支持。

🎯 应用场景

该研究的潜在应用场景包括自然语言处理中的模型对齐、用户偏好学习和多任务学习等领域。通过优化模型的参数更新机制，可以提高模型在实际应用中的表现，尤其是在需要快速适应用户偏好的场景中。未来，这一理论框架可能为模型合并和迁移学习提供新的思路。

📄 摘要（原文）

Direct Preference Optimization (DPO) has been widely adopted for aligning language models with human preferences. Recent empirical work has revealed that DPO induces remarkably sparse parameter updates, yet no theoretical explanation for this phenomenon has been offered. We analyze DPO's optimization dynamics under a neural tangent kernel linearization and show that the logistic structure of the DPO loss gives rise to an implicit maximum-margin bias. Building on this observation, we introduce the concept of dual sparsity: the DPO update direction is a sparse linear combination (data-level sparsity, driven by support vectors) of sparse gradient feature vectors (parameter-level sparsity, arising from gradient cancellation between preferred and dispreferred responses). We formalize this structure in our main theorem, bound the number of support pairs by a margin-dependent spectral quantity, and present a framework relating dual sparsity to weight disentanglement---a condition favorable for model merging. Experiments on GPT-2 Small and Medium and on 7--9B instruction-tuned models (Llama-3-8B, Mistral-7B, Gemma-2-9B) with the Anthropic HH-RLHF and UltraFeedback datasets confirm both sources of sparsity, and experiments on GPT-2 show that DPO reduces cross-task interference by up to $35{\times}$ compared to supervised fine-tuning.