Defending Large Language Models against Jailbreak Attacks via Semantic Smoothing

📄 arXiv: 2402.16192v2 📥 PDF

作者: Jiabao Ji, Bairu Hou, Alexander Robey, George J. Pappas, Hamed Hassani, Yang Zhang, Eric Wong, Shiyu Chang

分类: cs.CL

发布日期: 2024-02-25 (更新: 2024-02-28)

备注: 37 pages

🔗 代码/项目: GITHUB

💡 一句话要点

提出SEMANTICSMOOTH以解决大语言模型的监狱破解攻击问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 监狱破解攻击 语义平滑 鲁棒性 自然语言处理 安全防御 模型性能

📋 核心要点

  1. 现有的防御方法在面对语义攻击时缺乏有效性，且往往在稳健性与性能之间存在权衡。
  2. 本文提出的SEMANTICSMOOTH通过聚合多个语义转换的输入副本的预测，增强了模型的鲁棒性。
  3. 实验结果显示，SEMANTICSMOOTH在多种攻击下表现出色，且在指令跟随任务上保持了良好的性能。

📝 摘要（中文）

对齐的大语言模型（LLMs）易受到监狱破解攻击的影响，这类攻击能够绕过目标LLMs的安全防护，诱使其生成不当内容。尽管初步的防御措施在基于标记的威胁模型中显示出一定的前景，但目前尚无能够针对语义攻击提供稳健性且避免稳健性与正常性能之间不利权衡的防御方法。为此，本文提出了SEMANTICSMOOTH，这是一种基于平滑的防御机制，通过聚合多个语义转换副本的预测结果来增强模型的鲁棒性。实验结果表明，SEMANTICSMOOTH在抵御GCG、PAIR和AutoDAN攻击方面达到了最先进的鲁棒性，同时在InstructionFollowing和AlpacaEval等指令跟随基准上保持了强劲的正常性能。

🔬 方法详解

问题定义：本文旨在解决大语言模型在监狱破解攻击下的脆弱性，现有方法在面对语义攻击时效果不佳，且往往需要在稳健性与正常性能之间做出妥协。

核心思路：SEMANTICSMOOTH的核心思想是通过对输入提示进行多次语义转换，生成多个副本，并聚合这些副本的预测结果，从而提升模型的鲁棒性。这样的设计能够有效抵御语义层面的攻击，避免单一输入导致的脆弱性。

技术框架：该方法的整体架构包括输入提示的语义转换、多个副本的生成、预测结果的聚合以及最终输出的生成。每个阶段都旨在增强模型对攻击的抵抗力。

关键创新：SEMANTICSMOOTH的主要创新在于其平滑机制，通过聚合多个语义转换的预测结果，显著提高了模型在面对复杂攻击时的鲁棒性。这一方法与传统的基于标记的防御方法有本质区别。

关键设计：在实现过程中，关键设计包括选择合适的语义转换技术、设定聚合策略以及优化损失函数，以确保模型在保持性能的同时，增强其对攻击的抵抗能力。具体的参数设置和网络结构细节将在公开代码中提供。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SEMANTICSMOOTH在抵御GCG、PAIR和AutoDAN攻击时表现出色，鲁棒性达到了最先进的水平。同时，在InstructionFollowing和AlpacaEval基准测试中，模型的正常性能保持强劲，显示出在攻击防御与性能平衡方面的显著提升。

🎯 应用场景

该研究的潜在应用领域包括安全敏感的自然语言处理任务，如内容生成、对话系统和自动问答等。通过提升大语言模型的鲁棒性，能够有效防止不当内容的生成，确保用户体验和系统安全。未来，该方法有望在更广泛的AI应用中推广，提升整体安全性。

📄 摘要（原文）

Aligned large language models (LLMs) are vulnerable to jailbreaking attacks, which bypass the safeguards of targeted LLMs and fool them into generating objectionable content. While initial defenses show promise against token-based threat models, there do not exist defenses that provide robustness against semantic attacks and avoid unfavorable trade-offs between robustness and nominal performance. To meet this need, we propose SEMANTICSMOOTH, a smoothing-based defense that aggregates the predictions of multiple semantically transformed copies of a given input prompt. Experimental results demonstrate that SEMANTICSMOOTH achieves state-of-the-art robustness against GCG, PAIR, and AutoDAN attacks while maintaining strong nominal performance on instruction following benchmarks such as InstructionFollowing and AlpacaEval. The codes will be publicly available at https://github.com/UCSB-NLP-Chang/SemanticSmooth.