Learning When to Trust via Selective Context Preference Optimization

📄 arXiv: 2608.06377v1 📥 PDF

作者: Xian Sun, Wei Chow, Yingshuo Wang, Junhao Liu, Wei Gao, Qing Wu, Lingdong Kong

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-08-06

备注: Project Page at https://worldbench.github.io/scope GitHub Repo at https://github.com/worldbench/SCOPE HF Dataset at https://huggingface.co/datasets/worldbench/MIST-Bench

💡 一句话要点

提出SCOPE以解决语言模型的选择性信任问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 语言模型 选择性信任 直接偏好优化 上下文分析 误导信号

📋 核心要点

  1. 现有方法在处理外部信号时，往往忽视了上下文的选择性信任，导致模型在某些情况下无效。
  2. 论文提出SCOPE，通过挖掘干净-正确与误导-错误的失败案例，优化直接偏好优化（DPO）目标，平衡四种条件的偏好对。
  3. 实验结果表明，SCOPE显著降低了误导信号对正确答案的影响，同时在干净上下文下保持了模型的准确性。

📝 摘要（中文）

随着语言模型越来越依赖外部信号，单一误导信号可能导致正确答案变为错误。传统方法训练模型抵抗所有信号，但忽视有价值的上下文。本文重新定义为选择性信任，提出MIST基准，分析模型在不同条件下的表现，并提出SCOPE，通过优化标准的直接偏好优化（DPO）目标，显著降低误导信号对正确答案的影响，同时保持在干净、正确或无关上下文下的准确性。

🔬 方法详解

问题定义：本文解决的是语言模型在面对外部信号时的选择性信任问题。现有方法往往训练模型抵抗所有信号，但这会导致模型在有价值的上下文中失效。

核心思路：论文的核心思路是通过选择性信任的框架，优化模型在不同上下文条件下的表现，特别是针对干净和误导信号的处理。这样设计的目的是为了提高模型在真实应用中的可靠性。

技术框架：整体架构包括MIST基准的构建，分析模型在四种条件（干净、误导、正确上下文和无关上下文）下的表现，以及SCOPE优化过程，确保模型在所有条件下的平衡表现。

关键创新：最重要的技术创新点在于引入了SC2W度量标准，量化误导信号对模型答案的影响，并通过优化偏好对来提升模型的选择性信任能力，这与现有方法的单一抵抗策略本质上不同。

关键设计：在SCOPE中，采用了标准的直接偏好优化（DPO）目标，设计了平衡的偏好对，并在训练过程中关注干净-正确与误导-错误的失败案例，以提高模型的整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SCOPE在流行的开源模型上显著降低了SC2W指标，具体提升幅度达到XX%，同时在干净上下文下保持了高准确性，验证了选择性信任的重要性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和信息检索等。通过提高模型对上下文的选择性信任能力，可以在实际应用中提升用户体验和信息准确性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Language models increasingly condition their answers on external signals, and a single misleading one can turn a correct answer wrong. The obvious remedy, training models to resist such signals, hides a failure mode: a model that ignores all context looks robust yet is useless when the context is worth trusting. We recast the problem as selective trust and introduce MIST, a human-annotated benchmark that renders each reasoning item under four matched conditions (clean, misleading, correct-context, and irrelevant-context), together with SC2W, a paired metric counting how often a misleading signal flips a clean-correct answer to wrong. Across a comprehensive benchmark study, we observe that such a susceptibility is universal. We then propose SCOPE, which mines clean-correct/misleading-wrong failures and optimizes a standard Direct Preference Optimization (DPO) objective over matched preference pairs balanced equally across all four conditions, rather than over misleading items alone. Our approach substantially reduces SC2W on popular open-sourced models while preserving accuracy when the added context is clean, correct, or irrelevant. With this work, we argue that models should be judged on selective trust, not on resistance alone.