The Wrong Kind of Right: Quantifying and Localizing Misfired Alignment in LLMs
作者: Naihao Deng, Yiming Feng, Chimaobi Okite, Kaijian Zou, Lu Wang, Rada Mihalcea, Yulong Chen
分类: cs.CL
发布日期: 2026-06-17
💡 一句话要点
提出VETO基准以量化和定位LLMs的错误对齐问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 对齐问题 刻板印象 错误对齐率 VETO基准 安全性评估 偏见检测
📋 核心要点
- 当前大型语言模型在对齐过程中可能出现错误对齐现象，导致模型忽视明确证据而做出错误推断。
- 论文提出了VETO基准和错误对齐率（MAR）指标，以量化和分析与刻板印象相关的对齐问题。
- 实验结果显示，所有测试的LLMs均存在4.7%至18.9%的MAR，而人类参与者的MAR为0.0%，表明模型在安全性框架下的表现不佳。
📝 摘要（中文）
本论文研究了大型语言模型（LLMs）在对齐过程中可能出现的错误，称为“错误对齐”。研究表明，LLMs在安全性导向的行为下，可能会忽略明确的证据，导致错误的结论。为量化这一现象，论文引入了VETO基准和新的指标“错误对齐率”（MAR），并对25个LLMs进行了基准测试，发现它们在与刻板印象相关的问题上存在显著的MAR，而人类参与者则表现为0.0%的MAR。这些发现表明，当前的对齐方法可能会过度泛化表面安全线索，从而覆盖客观证据，强调了对更好对齐目标的需求。
🔬 方法详解
问题定义：本论文旨在解决大型语言模型在对齐过程中出现的错误对齐问题，现有方法未能有效避免模型在安全性导向下忽视明确证据的现象。
核心思路：论文通过引入VETO基准和错误对齐率（MAR）指标，量化刻板印象相关的对齐失误，强调需要更为严谨的对齐方法。
技术框架：整体研究流程包括构建VETO基准、定义MAR指标、对25个LLMs进行基准测试，以及进行控制性引导实验以分析对齐引导的影响。
关键创新：最重要的技术创新在于提出了MAR这一新指标，能够有效量化模型在刻板印象问题上的表现，并揭示了对齐引导可能导致的证据抑制现象。
关键设计：在实验中，使用了2032对对比样本，设计了控制性引导实验以验证对齐引导对MAR的影响，分析了开放权重LLMs的机制，发现了后层对证据支持答案的抑制现象。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所有测试的25个LLMs在与刻板印象相关的问题上均存在4.7%至18.9%的错误对齐率（MAR），而人类参与者的MAR为0.0%。控制性引导实验进一步证明，安全性导向的引导显著放大了MAR，显示出当前对齐方法的不足。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的模型对齐、安全性评估和偏见检测。通过改进对齐方法，可以提高LLMs在实际应用中的安全性和可靠性，尤其是在敏感话题的处理上。未来，该研究可能推动更为严谨的对齐目标的制定，促进LLMs的安全使用。
📄 摘要（原文）
Warning: This paper studies stereotypes and biases, and contains potentially disturbing examples, used for illustration purposes only. Our findings should not be interpreted as an argument against alignment. Instead, this paper highlights the need for principled approaches to more advanced alignment. Alignment aims to ensure that large language models (LLMs) behave safely and reliably, including by avoiding unsafe inferences. However, we show that such safety-oriented behaviors can misfire: models may reject warranted conclusions even when they are explicitly supported by context. We call this failure mode misfired alignment, where alignment-induced changes cause LLMs to override explicit evidence. To quantify this phenomenon, specifically on stereotype-related alignment, we introduce VETO, a benchmark consisting of 2,032 BBQ-derived contrastive pairs, and define a new metric, Misfired Alignment Rate (MAR), which measures on a 0 to 100 scale how often a model fails on a stereotype-related question but succeeds on its contrastive counterpart. We benchmark 25 LLMs on VETO, and show that all LLMs, including the most recent ones, exhibit non-trivial (4.7 to 18.9%) MARs while all human participants achieve 0.0% MAR. Controlled priming experiments further show that alignment-induced cues can substantially amplify MAR across LLMs, indicating that these failures are not merely artifacts of individual examples but can be induced by safety-related framing. Mechanistic analyses on open-weight LLMs reveal late-layer suppression of evidence-supported answers, and comparisons between instruct and base LLMs suggest that this suppression emerges after instruction training. These findings show that current alignment methods can overgeneralize surface-level safety cues, to the point of overriding objective evidence, motivating more work on alignment objectives that better preserve contextual grounding.