Selective Tie Learning: Mitigating Spurious Correlations in Preference Optimization

📄 arXiv: 2610.35787v1 📥 PDF

作者: Christian Moya, Purav Matlia, Elliott Thornley, Guang Lin

分类: cs.LG

发布日期: 2026-10-26

💡 一句话要点

提出选择性平衡学习以缓解偏好优化中的虚假相关性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 偏好优化 虚假相关性 选择性学习 对数线性策略 神经网络 数据增强 模型鲁棒性

📋 核心要点

  1. 现有的偏好优化方法容易学习到虚假相关性，导致模型性能下降。
  2. 论文提出通过选择性平衡学习来增强偏好数据，从而减少虚假依赖，核心在于选择影响最大的平衡。
  3. 实验结果表明，所提出的选择规则在不同模型中均能有效减少虚假依赖，且所需平衡数量少于均匀选择。

📝 摘要（中文）

偏好优化可能会学习到虚假相关性，通过用平衡数据（同等偏好的响应）增强偏好数据可以减少这种虚假依赖。然而，不同的平衡在其纠正效果上存在差异，因此选择合适的平衡进行增强至关重要。本文针对对数线性策略，推导了每个平衡对虚假依赖的影响，并表明在相同大小的子集中，选择最大预测减少量是一级最优的。计算这些影响需要了解虚假特征和训练目标的曲率，这通常难以获得或估计。为此，本文探讨了使用平衡的隐含奖励边际的大小，并表征了其作为预测影响的有用代理的条件。通过对比实验，本文的选择规则在对数线性策略、神经模型和大型语言模型中，均能以更少的平衡实现与均匀选择相当的虚假依赖减少。

🔬 方法详解

问题定义：本文旨在解决偏好优化中虚假相关性的问题，现有方法往往依赖于均匀选择平衡，导致效果不佳。

核心思路：通过分析每个平衡对虚假依赖的影响，提出选择影响最大的平衡进行数据增强，以优化模型性能。

技术框架：整体流程包括：首先推导平衡的影响力，然后利用隐含奖励边际作为影响的代理，最后在不同模型中进行实验验证。

关键创新：最重要的创新在于提出了一种基于影响力选择平衡的策略，显著优于传统的均匀选择方法，能够更有效地减少虚假依赖。

关键设计：在参数设置上，使用了对数线性策略和广义高斯-牛顿近似来估计曲率，确保了影响力的准确计算。

📊 实验亮点

实验结果显示，所提出的选择性平衡学习方法在对数线性策略和神经模型中，能够以更少的平衡数量实现虚假依赖的显著减少，效果与均匀选择相当，展示了方法的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括推荐系统、搜索引擎优化和个性化广告等，能够有效提升模型在处理偏好数据时的鲁棒性和准确性。未来，随着数据增强技术的进一步发展，该方法有望在更多实际场景中得到应用。

📄 摘要（原文）

Preference optimization can learn spurious correlations, and augmenting the preference data with ties (equally preferred responses) can reduce spurious reliance. However, ties differ in their corrective effect, making their selection for augmentation important. For log-linear policies, we derive each tie's influence on spurious reliance and show that taking the largest predicted reductions is first-order optimal among subsets of equal size. Computing these influences requires knowledge of the spurious features and the curvature of the training objective, which is often unavailable or expensive to estimate. To this end, we explore using the magnitude of a tie's implicit reward margin and characterize the conditions under which it is a useful proxy for predicted influence. To test the theory and its qualitative transfer to neural models, we estimate influence with a counterfactual proxy for spurious reliance and use a generalized Gauss--Newton approximation to curvature for language models. Across log-linear policies, neural models, and large language models, our selection rules consistently achieve comparable reductions in spurious reliance with fewer ties than uniform selection.