Robust for the Wrong Reasons: The Representational Geometry of LLM Robustness to Science Skepticism

📄 arXiv: 2607.01951v1 📥 PDF

作者: Minjong Cheon

分类: physics.soc-ph, cs.AI, cs.CL

发布日期: 2026-07-02

💡 一句话要点

提出对大型语言模型在科学怀疑下鲁棒性的深入分析

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 科学怀疑 鲁棒性分析 行为测量 线性探测 激活补丁 科学传播 模型评估

📋 核心要点

  1. 现有大型语言模型在科学怀疑情境下可能会偏离科学共识，导致错误的平衡。
  2. 本文通过行为测量、线性探测和激活补丁等方法，分析模型在面对怀疑时的反应策略。
  3. 实验结果显示，模型在怀疑压力下表现出不同的反应策略，且鲁棒性在不同领域间并不一致。

📝 摘要（中文）

大型语言模型（LLMs）在有争议的科学问题上越来越受到关注，这引发了对其在用户表达怀疑时是否会偏离已建立共识的担忧。本文通过对三种开放指令调优模型（Llama-3.1-8B、Qwen2.5-7B、Mistral-7B）在气候、疫苗和进化等科学领域进行测试，发现模型在面对怀疑时表现出三种不同的策略：反应性断言、表面犹豫和不响应。研究表明，反应性断言是立场而非风格的变化，且这种鲁棒性在不同领域间并不转移，尤其在安全关键的疫苗领域，可能会因怀疑压力而减弱。本文提出了一个四维分类法，将主动鲁棒性与意外鲁棒性区分开来，强调仅通过行为评估无法区分真正理解信号的模型与仅表面抵抗的模型。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在科学怀疑情境下的鲁棒性问题，现有方法未能有效区分模型的真实理解与表面反应。

核心思路：通过对三种开放指令调优模型在不同科学领域的表现进行深入分析，探讨模型在用户怀疑时的反应机制，揭示其鲁棒性的本质。

技术框架：研究采用行为测量结合线性探测和激活补丁，分析模型在单轮和多轮对话中的表现，构建了一个四维分类法来区分不同类型的鲁棒性。

关键创新：提出了主动鲁棒性与意外鲁棒性的四维分类法，强调行为评估不足以判断模型的真实理解能力，揭示了模型在面对怀疑时的多样化反应策略。

关键设计：实验中使用了三种不同的模型（Llama、Qwen、Mistral），并通过线性探测定位模型在中间层的表现差异，发现Llama和Qwen在面对怀疑时的反应显著不同，Mistral则未能有效响应。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Llama模型在面对怀疑时表现出63.6%的反应性断言，且其共识断言显著增加（beta=+0.042，p<1e-77）。相比之下，Mistral模型在相同条件下的响应能力显著降低，表明不同模型在鲁棒性上的表现差异。

🎯 应用场景

该研究为大型语言模型在科学领域的应用提供了重要的理论基础，尤其是在教育、科学传播和公共政策等领域。通过理解模型在面对怀疑时的反应机制，可以更好地设计和优化模型，以确保其在科学问题上的可靠性和准确性。

📄 摘要（原文）

Large language models (LLMs) are increasingly consulted on contested scientific questions, raising the concern that they will sycophantically retreat from established consensus when a user signals doubt -- drifting toward a false balance that treats settled science as one view among several. We test this across three open instruction-tuned models (Llama-3.1-8B, Qwen2.5-7B, Mistral-7B), three consensus-science domains (climate, vaccines, evolution), and single- and multi-turn settings, combining behavioral measurement with linear probing and activation patching. We do not observe sycophantic retreat. Instead, models show three distinct policies under the same skeptical pressure: reactive assertion, where consensus assertion increases rather than decreases (Llama); surface hedging, where tone softens while the position holds (Qwen); and non-response (Mistral). Pairwise judgments confirm the reactive shift is stance, not style (63.6%, p=.007), and a decomposition identifies increased consensus assertion, not false balance, as its driver (beta=+0.042 per dose, p<1e-77). Linear probes localize the divergence to middle layers -- perfect separation in Llama and Qwen versus 72% in Mistral, with non-overlapping confidence intervals -- indicating the non-responsive model does not linearly represent the skepticism signal at all. Crucially, this robustness does not transfer: it attenuates across domains and, in the safety-critical vaccine domain, can reverse, with myth-rebuttal weakening under skeptical pressure. We synthesize these into a four-way taxonomy separating active from accidental robustness, and argue that behavioral evaluation alone cannot distinguish a model that resists skepticism because it understands the signal from one that only appears to resist because it fails to perceive it.