PAL: Proxy-Guided Black-Box Attack on Large Language Models

📄 arXiv: 2402.09674v1 📥 PDF

作者: Chawin Sitawarin, Norman Mu, David Wagner, Alexandre Araujo

分类: cs.CL, cs.AI, cs.CR, cs.LG

发布日期: 2024-02-15

🔗 代码/项目: GITHUB

💡 一句话要点

提出PAL以解决大语言模型的黑箱攻击问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 黑箱攻击 安全性测试 优化算法 代理模型

📋 核心要点

  1. 现有方法在防止大语言模型生成有害内容方面存在显著不足，尤其是在黑箱环境下的攻击防御能力较弱。
  2. 本文提出的PAL方法通过代理模型引导优化，设计了适合实际应用的损失函数，从而实现高效的黑箱攻击。
  3. 实验结果显示，PAL在GPT-3.5-Turbo上达到84%的攻击成功率，显著高于现有方法，表明其有效性和实用性。

📝 摘要（中文）

近年来，大语言模型（LLMs）因其生成有害内容的能力而引发关注。尽管安全微调等技术旨在减少有害使用，但研究表明LLMs仍然容易受到攻击，导致产生有毒响应。本文提出了代理引导攻击（PAL），这是首个在黑箱查询环境下对LLMs进行的基于优化的攻击。该方法依赖于代理模型来指导优化，并设计了适用于现实世界LLM API的复杂损失函数。我们的攻击在GPT-3.5-Turbo上实现了84%的攻击成功率（ASR），在Llama-2-7B上为48%，而当前最先进的方法仅为4%。此外，我们还提出了GCG++，对GCG攻击的改进，达到94%的ASR，以及随机搜索攻击（RAL），作为查询基础攻击的强基线。我们相信这些技术将促进LLMs的安全性测试，并在长期内推动更好的安全防护措施的开发。

🔬 方法详解

问题定义：本文旨在解决大语言模型在黑箱环境下的安全性问题，现有方法在此场景下的攻击成功率较低，无法有效评估模型的安全性。

核心思路：PAL方法通过引入代理模型来指导优化过程，利用复杂的损失函数来适应真实世界的LLM API，从而实现高效的攻击。

技术框架：整体架构包括代理模型的训练、优化过程的设计和损失函数的定义。首先，训练一个代理模型来模拟目标LLM的行为，然后通过优化算法生成攻击样本。

关键创新：PAL是首个在黑箱查询环境下进行的优化攻击，利用代理模型的引导显著提高了攻击成功率，与传统方法相比具有本质的区别。

关键设计：在损失函数设计上，考虑了实际应用中的多种因素，确保生成的攻击样本能够有效触发目标LLM的有害响应。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PAL在GPT-3.5-Turbo上实现了84%的攻击成功率，而在Llama-2-7B上为48%，相比于当前最先进的方法（仅4%）有显著提升。此外，GCG++的改进使得在白箱环境下的攻击成功率达到94%。

🎯 应用场景

该研究的潜在应用领域包括大语言模型的安全性测试、内容过滤系统的评估以及AI系统的鲁棒性分析。通过更全面的安全测试，能够帮助开发更安全的AI应用，减少有害内容的生成风险。

📄 摘要（原文）

Large Language Models (LLMs) have surged in popularity in recent months, but they have demonstrated concerning capabilities to generate harmful content when manipulated. While techniques like safety fine-tuning aim to minimize harmful use, recent works have shown that LLMs remain vulnerable to attacks that elicit toxic responses. In this work, we introduce the Proxy-Guided Attack on LLMs (PAL), the first optimization-based attack on LLMs in a black-box query-only setting. In particular, it relies on a surrogate model to guide the optimization and a sophisticated loss designed for real-world LLM APIs. Our attack achieves 84% attack success rate (ASR) on GPT-3.5-Turbo and 48% on Llama-2-7B, compared to 4% for the current state of the art. We also propose GCG++, an improvement to the GCG attack that reaches 94% ASR on white-box Llama-2-7B, and the Random-Search Attack on LLMs (RAL), a strong but simple baseline for query-based attacks. We believe the techniques proposed in this work will enable more comprehensive safety testing of LLMs and, in the long term, the development of better security guardrails. The code can be found at https://github.com/chawins/pal.