Beyond Uniform Forgetting: A Study of Sequential Direct Preference Optimization Across Preference Settings
作者: Pranav Bhandari, Nicolas Fay, Amitava Datta, Usman Naseem, Mehwish Nasim
分类: cs.CL, cs.AI, cs.HC
发布日期: 2026-06-18
备注: Submitted to EMNLP 2026
💡 一句话要点
提出序列直接偏好优化以解决偏好遗忘问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 偏好优化 序列学习 人机对齐 多目标优化 信号强度 模型评估
📋 核心要点
- 现有的偏好优化方法在处理多个目标时，可能导致早期学习的偏好被后续目标均匀削弱，缺乏对目标关系的考虑。
- 本文提出了一种序列直接偏好优化方法，研究不同偏好设置下的目标关系对偏好遗忘的影响，强调信号强度的重要性。
- 实验结果表明，序列DPO的偏好变化模式多样，偏好对的表现可能因目标关系而异，提供了新的视角来理解偏好优化过程。
📝 摘要（中文）
对齐语言模型与人类偏好通常需要优化多个行为目标。本文研究了序列直接偏好优化（DPO）在四种偏好设置下的表现，探讨了后续训练是否会均匀地削弱早期学习的偏好。研究发现，序列DPO的偏好变化模式多样，取决于目标之间的关系、信号强度和训练顺序。通过对偏好对的分析，发现聚合指标可能掩盖偏好对之间的异质变化，且高置信度对的表现可能因设置而异。这些发现表明，未来的序列对齐流程应考虑目标兼容性和信号强度，而非假设后续目标均匀影响早期偏好。
🔬 方法详解
问题定义：本文旨在解决在序列直接偏好优化中，后续训练是否均匀削弱早期学习偏好的问题。现有方法未能充分考虑目标之间的关系，导致偏好遗忘现象。
核心思路：论文通过研究四种不同的偏好设置，探讨目标关系、信号强度和训练顺序对偏好变化的影响，提出了一种新的分析框架。
技术框架：研究使用Llama-3.1-8B-Instruct模型与LoRA适配器，分阶段评估所有目标，分析每个阶段的偏好变化，重点关注偏好对的表现。
关键创新：最重要的创新在于识别出序列DPO并不产生单一的遗忘模式，而是根据目标关系和信号强度表现出多样化的偏好变化。
关键设计：在实验中，采用了长度归一化的策略边际分析，聚合指标与四分位分解相结合，揭示了高置信度偏好的变化情况，提供了对偏好优化过程的深入理解。
🖼️ 关键图片
📊 实验亮点
实验结果显示，序列DPO的偏好变化模式多样，偏好对的表现因目标关系而异。具体而言，部分偏好对表现出稳定性，而其他对则可能出现部分退化或积极转移，强调了目标兼容性的重要性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、推荐系统和人机交互等。通过优化语言模型与人类偏好的对齐，可以提升模型在实际应用中的表现，增强用户体验。未来，研究结果可能推动更智能的系统设计，使其更好地理解和适应用户需求。
📄 摘要（原文）
Aligning language models with human preferences often requires optimising multiple behavioural objectives. A practical approach is to apply these objectives sequentially using preference optimisation methods such as Direct Preference Optimisation (DPO), but it remains unclear whether later training uniformly degrades preferences learned earlier or whether the effect depends on the relationship between objectives. We study sequential DPO across four preference settings covering distributional conflict, multi-attribute interaction, strong safety signal, and compatible response-quality objectives. Using Llama-3.1-8B-Instruct with LoRA adapters, we evaluate all objectives after every stage with a fixed base-model reference. We find that sequential DPO does not produce a single forgetting pattern; preference change ranges from partial degradation to stability, pair-level redistribution, or positive transfer depending on objective relationship, signal strength, and training order. Pair-level analysis using length-normalised policy margins shows that aggregate metrics can mask heterogeneous changes across preference pairs, whereas quartile decomposition reveals that high-confidence pairs can either degrade or improve depending on the setting. Mechanistic diagnostics show that Stage~2 gradients and adapter updates are near-orthogonal to the previous objective across all settings, providing little evidence that direct gradient opposition is the primary driver. These findings suggest that future sequential alignment pipelines should account for objective compatibility and signal strength, rather than assuming that later objectives affect earlier preferences uniformly.