Pruning for Protection: Increasing Jailbreak Resistance in Aligned LLMs Without Fine-Tuning

📄 arXiv: 2401.10862v3 📥 PDF

作者: Adib Hasan, Ileana Rugina, Alex Wang

分类: cs.LG, cs.AI, cs.CL, cs.CR

发布日期: 2024-01-19 (更新: 2024-10-31)

备注: Proceedings of the 7th BlackboxNLP Workshop: Analyzing and Interpreting Neural Networks for NLP

💡 一句话要点

通过WANDA剪枝提升大语言模型的抗越狱能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 越狱攻击 模型剪枝 WANDA算法 安全性评估 对抗性攻击 注意力机制

📋 核心要点

  1. 现有的大语言模型在面对越狱攻击时表现出一定的脆弱性，尤其是在未经过微调的情况下。
  2. 论文提出通过适度的WANDA剪枝来增强模型的越狱抵抗能力，避免了传统微调带来的性能损失。
  3. 实验结果表明，剪枝后的模型在多种有害任务上表现出更高的安全性，尤其是在对抗性攻击中效果显著。

📝 摘要（中文）

本文研究了模型压缩对大语言模型（LLMs）处理提示的影响，特别是在越狱抵抗方面。我们展示了适度的WANDA剪枝可以在不进行微调的情况下增强抵抗越狱攻击的能力，同时保持在标准基准上的性能。为系统评估这种安全增强，我们引入了一个包含225个有害任务的数据集，覆盖五个类别。对LLaMA-2 Chat、Vicuna 1.3和Mistral Instruct v0.2的分析表明，剪枝的好处与初始模型的安全水平相关。我们通过检查注意力模式的变化和困惑度的变化来解释这些结果，证明剪枝模型表现出更尖锐的注意力和对人工越狱构造的敏感性。我们还将评估扩展到AdvBench有害行为任务和GCG攻击方法，发现LLaMA-2在AdvBench提示下比在我们的数据集上更安全，并且剪枝对自动攻击和手动越狱均有效。

🔬 方法详解

问题定义：本文旨在解决大语言模型在面对越狱攻击时的脆弱性，现有方法如微调虽然能提高安全性，但会影响模型性能。

核心思路：通过适度的WANDA剪枝来增强模型的越狱抵抗能力，保持模型在标准基准上的性能，同时提升对有害提示的敏感性。

技术框架：研究首先构建了一个包含225个有害任务的数据集，然后对LLaMA-2 Chat、Vicuna 1.3和Mistral Instruct v0.2进行剪枝和评估，分析注意力模式和困惑度的变化。

关键创新：本研究的创新在于通过剪枝而非微调来提升模型的安全性，表明剪枝可以在不损失性能的情况下增强越狱抵抗能力。

关键设计：在剪枝过程中，采用了WANDA算法，关注模型的注意力机制和困惑度变化，以确保剪枝后的模型在处理有害任务时的表现优于未剪枝模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，经过WANDA剪枝的LLaMA-2模型在AdvBench提示下的安全性显著提高，相较于未剪枝模型，其在手动越狱尝试中的表现更为优越，展现出对自动攻击和手动越狱的有效抵抗能力。

🎯 应用场景

该研究的潜在应用领域包括安全性要求较高的对话系统、内容审核和自动化客服等场景。通过提升模型的越狱抵抗能力，可以有效减少恶意用户利用模型生成不当内容的风险，具有重要的实际价值和社会影响。

📄 摘要（原文）

This paper investigates the impact of model compression on the way Large Language Models (LLMs) process prompts, particularly concerning jailbreak resistance. We show that moderate WANDA pruning can enhance resistance to jailbreaking attacks without fine-tuning, while maintaining performance on standard benchmarks. To systematically evaluate this safety enhancement, we introduce a dataset of 225 harmful tasks across five categories. Our analysis of LLaMA-2 Chat, Vicuna 1.3, and Mistral Instruct v0.2 reveals that pruning benefits correlate with initial model safety levels. We interpret these results by examining changes in attention patterns and perplexity shifts, demonstrating that pruned models exhibit sharper attention and increased sensitivity to artificial jailbreak constructs. We extend our evaluation to the AdvBench harmful behavior tasks and the GCG attack method. We find that LLaMA-2 is much safer on AdvBench prompts than on our dataset when evaluated with manual jailbreak attempts, and that pruning is effective against both automated attacks and manual jailbreaking on Advbench.