Robust Harmful Features Under Jailbreak Attacks: Mechanistic Evidence from Attention Head Specialization in Large Language Models

📄 arXiv: 2606.28153v1 📥 PDF

作者: Yanchen Yin, Dongqi Han, Linghui Li

分类: cs.CR, cs.AI

发布日期: 2026-06-26

备注: 323 pages, 19 figures. Accepted at ICML 2026 as a Oral presentation

💡 一句话要点

提出机制性证据以揭示大语言模型中的监狱突破攻击特征

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 监狱突破攻击 大语言模型 安全对齐 对抗性攻击 注意力机制 稳健性

📋 核心要点

  1. 现有方法对监狱突破攻击的机制理解不足，导致安全特征的消失与保留之间的关系不明确。
  2. 论文通过识别对抗性受损头和安全对齐头，提出了一种新的机制性解释，揭示了攻击如何选择性抑制特定注意力头。
  3. 实验结果表明，抑制少量ACHs即可引发监狱突破行为，而SAHs的存在则显著增强了模型的安全性，验证了理论的实际应用价值。

📝 摘要（中文）

监狱突破攻击能够绕过大语言模型的安全对齐，但其机制尚不清楚。本文提供证据表明，攻击并未全面消除安全特征，而是选择性地抑制特定的注意力头。我们识别出两种功能上不同的类型：集中在早期层的对抗性受损头（ACHs），在攻击下被抑制；而中层的安全对齐头（SAHs）即使在攻击成功时仍保持强激活。消融研究支持了ACHs的因果作用以及SAHs对强激活的贡献：抑制少量ACHs足以引发通常拒绝输入的监狱突破行为，而移除SAHs则显著削弱中层的安全激活。基于token级别的归因进一步表明，ACH抑制是由攻击模板token驱动的，提供了攻击如何通过ACH抑制绕过拒绝决策的机制性解释，同时保持SAHs所维持的内部安全信号——这一现象我们称之为稳健有害特征。为了验证这种稳健性的实际意义，我们展示了仅通过读取这些持久激活（无需任何训练）即可实现与强对抗稳健性相当的检测性能。

🔬 方法详解

问题定义：本文旨在解决监狱突破攻击如何绕过大语言模型安全机制的问题。现有研究对攻击机制的理解不足，未能明确安全特征的保留与消失之间的关系。

核心思路：论文提出通过分析注意力头的功能差异，识别出对抗性受损头（ACHs）和安全对齐头（SAHs），并探讨它们在攻击中的作用。这样的设计有助于理解攻击的选择性抑制机制。

技术框架：整体架构包括对大语言模型的注意力头进行分类，进行消融实验以验证ACHs和SAHs的作用，并通过token级别的归因分析揭示攻击机制。主要模块包括注意力头分类、消融实验和token归因分析。

关键创新：最重要的技术创新在于识别出两种不同类型的注意力头，并揭示了它们在监狱突破攻击中的不同角色。这一发现与现有方法的本质区别在于，提供了对攻击机制的深入理解，而不仅仅是表面的安全性分析。

关键设计：在实验中，采用了特定的消融策略来抑制ACHs，并通过对比实验验证了SAHs的激活对模型安全性的影响。损失函数和网络结构的设计旨在最大化对抗性样本的检测能力，同时保持模型的整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，抑制少量ACHs即可引发监狱突破行为，而移除SAHs则显著削弱中层安全激活。通过仅读取持久激活，模型在强对抗环境下的检测性能与传统方法相当，验证了该研究的实际应用价值。

🎯 应用场景

该研究的潜在应用领域包括大语言模型的安全性提升、对抗性攻击检测和模型的安全对齐策略优化。通过深入理解监狱突破攻击的机制，研究可以为开发更稳健的AI系统提供理论基础和实践指导，未来可能在安全敏感的应用场景中发挥重要作用。

📄 摘要（原文）

Jailbreak attacks bypass LLM safety alignment, yet their mechanisms remain poorly understood. We provide evidence that attacks do not comprehensively eliminate safety features, but instead selectively suppress specific attention heads. We identify two functionally differentiated types: Adversarially Compromised Heads (ACHs) concentrated in early layers, which are suppressed under attacks, and Safety-Aligned Heads (SAHs) in mid-layers, which maintain robust activations even when attacks succeed. Ablation studies support the causal role of ACHs and the contribution of SAHs to robust activations: suppressing a small number of ACHs is sufficient to induce jailbreak-like behavior on normally refused inputs, while removing SAHs substantially weakens mid-layer safety activations. Token-level attribution further shows that ACH suppression is driven specifically by attack-template tokens, providing a mechanistic account of why attacks can bypass refusal decisions through ACH suppression while leaving internal safety signals sustained by SAHs -- a phenomenon we term Robust Harmful Features. To validate the practical significance of this robustness, we show that simply reading these persistent activations -- without any training -- yields competitive aggregate detection performance with strong adversarial robustness.