AdvPrompter: Fast Adaptive Adversarial Prompting for LLMs

📄 arXiv: 2404.16873v2 📥 PDF

作者: Anselm Paulus, Arman Zharmagambetov, Chuan Guo, Brandon Amos, Yuandong Tian

分类: cs.CR, cs.AI, cs.CL, cs.LG

发布日期: 2024-04-21 (更新: 2025-06-02)

备注: Accepted to ICML 2025. Code is available at http://github.com/facebookresearch/advprompter

💡 一句话要点

提出AdvPrompter以快速生成对抗性提示应对LLMs的脆弱性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对抗性提示 大型语言模型 越狱攻击 安全性测试 自动化生成

📋 核心要点

  1. 现有方法在生成对抗性提示时效率低下，手动搜索耗时且自动生成的提示往往缺乏语义意义。
  2. 本文提出的AdvPrompter利用交替优化算法快速生成可读的对抗性提示，诱导目标LLM产生有害响应。
  3. 实验结果表明，AdvPrompter在多个数据集上表现优异，并能有效提升LLM对越狱攻击的鲁棒性。

📝 摘要（中文）

大型语言模型（LLMs）易受到越狱攻击，导致生成不当或有害内容。手动红队测试需要耗时的对抗提示搜索，而自动生成的对抗提示往往语义无效且难以扩展。本文提出了一种新方法，利用另一种LLM（称为AdvPrompter）在几秒钟内生成可读的对抗性提示。AdvPrompter通过交替优化算法进行训练，生成不改变输入指令含义的后缀，从而诱使目标LLM生成有害响应。实验结果显示，在流行的开源目标LLM上，AdvPrompter在AdvBench和HarmBench数据集上表现出色，并且能够迁移到封闭源黑箱LLM。我们还展示了基于AdvPrompter生成的对抗后缀进行训练是一种提高LLM对越狱攻击鲁棒性的有效策略。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLMs）在面对越狱攻击时的脆弱性。现有的手动和自动生成对抗提示的方法存在效率低下和语义无效的问题。

核心思路：论文提出的AdvPrompter通过交替优化算法生成对抗性提示的后缀，这些后缀在不改变原始指令含义的情况下，诱导目标LLM生成有害内容。这样的设计使得生成的提示既具备可读性，又能有效实现攻击目的。

技术框架：AdvPrompter的整体架构包括输入指令的处理、后缀生成模块和对目标LLM的诱导响应。通过交替优化，模型能够不断调整生成策略，以提高对抗性提示的有效性。

关键创新：AdvPrompter的主要创新在于其生成的对抗性提示具有可读性且能有效诱导目标LLM产生有害响应。这与现有方法生成的无意义提示形成鲜明对比，显著提升了攻击的有效性。

关键设计：在训练过程中，AdvPrompter采用了特定的损失函数以优化生成的后缀质量，并通过调整模型参数来提升生成效率和效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，AdvPrompter在AdvBench和HarmBench数据集上表现出色，相较于传统方法，其生成的对抗性提示在诱导目标LLM产生有害响应方面具有显著提升，具体性能数据未详细列出，但整体效果优于现有基线。

🎯 应用场景

该研究的潜在应用领域包括安全性测试、内容审核和对抗性训练等。通过快速生成对抗性提示，AdvPrompter可以帮助开发者和研究人员更有效地评估和提升LLMs的安全性，减少有害内容的生成风险，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large Language Models (LLMs) are vulnerable to jailbreaking attacks that lead to generation of inappropriate or harmful content. Manual red-teaming requires a time-consuming search for adversarial prompts, whereas automatic adversarial prompt generation often leads to semantically meaningless attacks that do not scale well. In this paper, we present a novel method that uses another LLM, called AdvPrompter, to generate human-readable adversarial prompts in seconds. AdvPrompter, which is trained using an alternating optimization algorithm, generates suffixes that veil the input instruction without changing its meaning, such that the TargetLLM is lured to give a harmful response. Experimental results on popular open source TargetLLMs show highly competitive results on the AdvBench and HarmBench datasets, that also transfer to closed-source black-box LLMs. We also show that training on adversarial suffixes generated by AdvPrompter is a promising strategy for improving the robustness of LLMs to jailbreaking attacks.