Large Language Models Generate Harmful Content Using a Distinct, Unified Mechanism
作者: Hadas Orgad, Boyi Wei, Kaden Zheng, Martin Wattenberg, Peter Henderson, Seraphina Goldfarb-Tarrant, Yonatan Belinkov
分类: cs.CL, cs.AI, cs.LG
发布日期: 2026-04-10
💡 一句话要点
通过权重剪枝揭示大语言模型生成有害内容的统一机制
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 有害内容生成 权重剪枝 对齐训练 涌现式不对齐
📋 核心要点
- 现有大语言模型的对齐训练存在漏洞，容易被绕过，且微调可能导致“涌现式不对齐”。
- 论文通过权重剪枝探究LLM中有害性的内部组织，发现有害内容生成依赖于一组紧凑且通用的权重。
- 实验表明，对齐模型对有害权重压缩程度更高，且在特定领域剪枝有害权重能减少涌现式不对齐。
📝 摘要（中文）
大型语言模型（LLM）经过对齐训练以避免有害行为，但由此产生的安全措施仍然脆弱：越狱攻击经常绕过它们，并且在狭窄领域进行微调可能会诱导广泛泛化的“涌现式不对齐”。这种脆弱性是否反映了有害性缺乏连贯的内部组织仍然不清楚。本文使用有针对性的权重剪枝作为因果干预，以探究LLM中有害性的内部组织。研究发现，有害内容的生成依赖于一组紧凑的权重，这些权重在各种危害类型中是通用的，并且与良性能力不同。对齐的模型比未对齐的模型表现出更大的有害生成权重压缩，表明对齐在内部重塑了有害表示——尽管表面上的安全防护措施很脆弱。这种压缩解释了涌现式不对齐：如果有害能力的权重被压缩，那么在一个领域中利用这些权重的微调可能会触发广泛的不对齐。与此一致的是，在狭窄领域中剪枝有害生成权重可以显著减少涌现式不对齐。值得注意的是，LLM的有害生成能力与其识别和解释此类内容的方式无关。总之，这些结果揭示了LLM中有害性的连贯内部结构，这可以作为更有效安全方法的基础。
🔬 方法详解
问题定义：现有的大语言模型虽然经过对齐训练，但在避免生成有害内容方面仍然存在不足。具体表现为：1) 容易被越狱攻击绕过；2) 在特定领域进行微调后，可能出现“涌现式不对齐”现象，导致模型在更广泛的范围内生成有害内容。现有方法难以有效且稳定地抑制LLM生成有害内容，其根本原因在于对LLM内部有害性表征的理解不足。
核心思路：本文的核心思路是通过权重剪枝这一因果干预手段，探究LLM内部有害性表征的组织方式。通过选择性地移除模型中的权重，观察模型生成有害内容能力的变化，从而推断哪些权重对于有害内容生成至关重要。这种方法能够帮助我们理解有害内容生成在模型内部是如何实现的，以及对齐训练是如何影响这种实现的。
技术框架：本文的技术框架主要包括以下几个步骤：1) 选择目标LLM，包括对齐和未对齐的模型；2) 设计有害内容生成任务，例如生成仇恨言论、暴力内容等；3) 使用权重剪枝算法，选择性地移除模型中的权重；4) 评估剪枝后的模型在有害内容生成任务上的表现；5) 分析不同类型的权重对于有害内容生成的影响，以及对齐训练对这些权重的影响。
关键创新：本文最重要的技术创新在于：1) 首次使用权重剪枝作为一种因果干预手段，来探究LLM内部有害性表征的组织方式；2) 发现有害内容生成依赖于一组紧凑且通用的权重，这些权重与良性能力不同；3) 揭示了对齐训练通过压缩有害权重来降低模型生成有害内容的能力，但这种压缩可能导致涌现式不对齐。
关键设计：论文的关键设计包括：1) 精心设计的有害内容生成任务，能够有效评估模型生成各种类型有害内容的能力；2) 使用了多种权重剪枝算法，包括基于重要性的剪枝、随机剪枝等，以确保结果的可靠性；3) 对剪枝后的模型进行了全面的评估，包括有害内容生成能力、良性能力、涌现式不对齐等，以深入了解剪枝的影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，有害内容生成依赖于一组紧凑的权重，且对齐模型对这些权重进行了压缩。在特定领域剪枝有害权重后，涌现式不对齐现象显著减少。这些发现为理解和解决LLM的安全性问题提供了新的视角。
🎯 应用场景
该研究成果可应用于提升大语言模型的安全性，例如通过识别并压缩有害权重，从而降低模型生成有害内容的风险。此外，该研究也有助于理解对齐训练的机制，为设计更有效的对齐方法提供指导。未来，可以基于该研究开发更鲁棒的安全防护措施，防止模型被恶意利用。
📄 摘要（原文）
Large language models (LLMs) undergo alignment training to avoid harmful behaviors, yet the resulting safeguards remain brittle: jailbreaks routinely bypass them, and fine-tuning on narrow domains can induce ``emergent misalignment'' that generalizes broadly. Whether this brittleness reflects a fundamental lack of coherent internal organization for harmfulness remains unclear. Here we use targeted weight pruning as a causal intervention to probe the internal organization of harmfulness in LLMs. We find that harmful content generation depends on a compact set of weights that are general across harm types and distinct from benign capabilities. Aligned models exhibit a greater compression of harm generation weights than unaligned counterparts, indicating that alignment reshapes harmful representations internally--despite the brittleness of safety guardrails at the surface level. This compression explains emergent misalignment: if weights of harmful capabilities are compressed, fine-tuning that engages these weights in one domain can trigger broad misalignment. Consistent with this, pruning harm generation weights in a narrow domain substantially reduces emergent misalignment. Notably, LLMs harmful generation capability is dissociated from how they recognize and explain such content. Together, these results reveal a coherent internal structure for harmfulness in LLMs that may serve as a foundation for more principled approaches to safety.