Would You Walk to the Car Wash? Revealing the Salience Bias of Large Language Models in Commonsense Reasoning
作者: Zheng Wu, Chenhao Xue, Shijie Zheng, Yijie Lu, Cheng Yang, Zhuosheng Zhang
分类: cs.CL
发布日期: 2026-07-30
🔗 代码/项目: GITHUB
💡 一句话要点
提出SaliTrap基准以解决大语言模型的显著性偏差问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 常识推理 显著性偏差 知识抑制 数据集构建 推理时间提示 模型评估
📋 核心要点
- 现有大型语言模型在常识推理中存在显著性偏差，容易受到无关干扰项的影响，导致推理失败。
- 论文提出SaliTrap基准，通过构建高质量数据集和去除任务框架，揭示模型在常识推理中的知识抑制现象。
- 实验结果表明，所有主流模型均受到显著性偏差影响，轻量级推理时间提示能显著改善模型表现，恢复90%以上的推理能力。
📝 摘要（中文）
随着大型语言模型（LLMs）在复杂推理任务中的不断进步，它们在输入中优先考虑显式条件。然而，在日常常识推理中，这种机制暴露了一个关键的脆弱性，我们称之为显著性偏差：模型容易受到无用显式干扰项（如数值）的影响，导致忽视任务的隐含物理或常识前提。为此，我们构建了SaliTrap基准，这是一个涵盖四个陷阱维度的高质量数据集。对12个最先进的LLMs进行评估后发现，所有主流模型都显著受显著性偏差的影响。通过去除任务框架重新引导模型，我们发现这主要是知识抑制而非知识缺失的问题，提出的轻量级推理时间提示显著缩小了这一差距。我们将常识推理失败的瓶颈从模型能力转移到引导上，并发布SaliTrap作为这一盲点的测试平台。
🔬 方法详解
问题定义：本论文旨在解决大型语言模型在常识推理中遭遇的显著性偏差问题。现有方法在处理显式干扰项时，模型容易忽视隐含的常识前提，导致推理失败。
核心思路：论文的核心思路是通过构建SaliTrap基准，系统性地评估模型在不同干扰密度下的表现，并通过去除任务框架来探讨知识抑制的现象。
技术框架：整体架构包括数据集构建、模型评估和轻量级推理时间提示三个主要模块。数据集涵盖四个陷阱维度，模型评估则通过对比不同模型在显著性偏差下的表现。
关键创新：最重要的技术创新在于揭示了知识抑制而非知识缺失是导致常识推理失败的主要原因，并通过去除任务框架显著改善模型表现。
关键设计：在实验中，采用了高质量的SaliTrap数据集，设计了特定的任务框架，并通过轻量级提示策略优化模型推理过程。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所有评估的12个主流大型语言模型均受到显著性偏差的影响，且影响程度与干扰项密度成正比。通过去除任务框架，模型的推理能力恢复超过90%，显示出知识抑制的显著性。轻量级推理时间提示策略有效缩小了模型在常识推理中的表现差距。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的常识推理、智能问答系统和人机交互等。通过改善模型在常识推理中的表现，可以提升智能系统的决策能力和用户体验，具有重要的实际价值和未来影响。
📄 摘要（原文）
As large language models (LLMs) continue to advance in complex reasoning tasks, they have learned to heavily prioritize explicit conditions provided in the input. However, in everyday commonsense reasoning, this mechanism exposes a critical vulnerability which we term Salience Bias: models become easily hijacked by useless explicit distractors (e.g., numerical values), leading them to ignore the implicit physical or commonsense prerequisites of a task. A critical open question is whether this failure reflects a genuine gap in commonsense knowledge or merely its suppression under misleading task framing. To investigate this, we construct the SaliTrap Benchmark, a high-quality dataset across four trap dimensions. Evaluating 12 state-of-the-art LLMs, we find that all mainstream models suffer significantly from salience bias, with severity scaling with distractor density and detecting the trap often decoupled from actually avoiding it. Crucially, by re-eliciting the same models with the task framing stripped away, we show that this is overwhelmingly a failure of \textbf{knowledge suppression rather than knowledge absence}: a context-free knowledge probe alone recovers over 90\% of sycophantic-compliance failures, revealing that the requisite commonsense is intrinsically present but actively crowded out by salient distractors that lure the model into over-compliant, unnecessary computation. Building on this diagnosis, we further show that lightweight, inference-time prompting alone substantially closes the gap without any retraining. Our findings relocate the bottleneck of commonsense reasoning failures from model competence to elicitation, and we release SaliTrap as a testbed for this blind spot. The codes are available at https://github.com/Wuzheng02/SaliTrap.