Sandwich attack: Multi-language Mixture Adaptive Attack on LLMs

📄 arXiv: 2404.07242v1 📥 PDF

作者: Bibek Upadhayay, Vahid Behzadan

分类: cs.CR, cs.AI, cs.CL

发布日期: 2024-04-09

DOI: 10.18653/v1/2024.trustnlp-1.18

💡 一句话要点

提出三明治攻击以解决多语言LLMs的安全性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 多语言处理 安全性 黑箱攻击 恶意操控 模型鲁棒性 网络安全

📋 核心要点

  1. 现有的安全训练方法未能完全防止恶意用户利用LLMs生成有害内容，尤其是在低资源语言中表现较差。
  2. 本文提出的三明治攻击是一种多语言混合攻击，旨在利用LLMs在不同语言上的不平衡预训练数据进行操控。
  3. 实验结果表明，三明治攻击能够有效地使五种主流LLMs生成有害响应，展示了其在安全性方面的潜在威胁。

📝 摘要（中文）

大型语言模型（LLMs）的广泛应用面临诸多挑战，包括如何使其响应与人类价值观一致，以防止有害输出。尽管已有安全训练方法，但恶意用户仍能操控LLMs生成不当响应。本文提出了一种新的黑箱攻击方式——三明治攻击，这是一种多语言混合攻击，能够操控先进的LLMs生成有害和不一致的响应。通过对五种不同模型的实验，验证了该攻击向量的有效性，旨在为未来的研究和开发提供指导，以增强LLMs的安全性和韧性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLMs）在多语言环境下的安全性问题，尤其是恶意用户利用低资源语言操控模型生成有害内容的挑战。现有的安全训练方法未能有效应对这些攻击。

核心思路：三明治攻击通过混合多种语言输入，利用LLMs在不同语言上的性能差异，诱导模型生成不一致和有害的响应。该设计旨在揭示LLMs在多语言处理中的脆弱性。

技术框架：该攻击方法包括输入预处理、语言混合策略和模型响应分析三个主要模块。首先，构造多语言输入，然后通过模型生成响应，最后分析输出的安全性和一致性。

关键创新：三明治攻击的创新之处在于其利用多语言混合输入的方式，突破了以往单一语言攻击的局限，展示了在多语言环境下的攻击潜力。

关键设计：在实验中，采用了不同的低资源语言进行输入，设计了特定的输入格式和语境，以最大化模型的响应偏差。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，三明治攻击能够有效诱导五种主流LLMs生成有害响应，且在多语言输入下的成功率显著高于传统攻击方式，展示了该攻击向量的强大威胁性。

🎯 应用场景

该研究的潜在应用领域包括网络安全、人工智能伦理和大型语言模型的开发。通过识别和分析多语言环境下的攻击方式，可以为LLMs的安全性提升提供重要参考，确保其在实际应用中更好地服务于公众利益。

📄 摘要（原文）

Large Language Models (LLMs) are increasingly being developed and applied, but their widespread use faces challenges. These include aligning LLMs' responses with human values to prevent harmful outputs, which is addressed through safety training methods. Even so, bad actors and malicious users have succeeded in attempts to manipulate the LLMs to generate misaligned responses for harmful questions such as methods to create a bomb in school labs, recipes for harmful drugs, and ways to evade privacy rights. Another challenge is the multilingual capabilities of LLMs, which enable the model to understand and respond in multiple languages. Consequently, attackers exploit the unbalanced pre-training datasets of LLMs in different languages and the comparatively lower model performance in low-resource languages than high-resource ones. As a result, attackers use a low-resource languages to intentionally manipulate the model to create harmful responses. Many of the similar attack vectors have been patched by model providers, making the LLMs more robust against language-based manipulation. In this paper, we introduce a new black-box attack vector called the \emph{Sandwich attack}: a multi-language mixture attack, which manipulates state-of-the-art LLMs into generating harmful and misaligned responses. Our experiments with five different models, namely Google's Bard, Gemini Pro, LLaMA-2-70-B-Chat, GPT-3.5-Turbo, GPT-4, and Claude-3-OPUS, show that this attack vector can be used by adversaries to generate harmful responses and elicit misaligned responses from these models. By detailing both the mechanism and impact of the Sandwich attack, this paper aims to guide future research and development towards more secure and resilient LLMs, ensuring they serve the public good while minimizing potential for misuse.