Instruction Backdoor Attacks Against Customized LLMs

📄 arXiv: 2402.09179v3 📥 PDF

作者: Rui Zhang, Hongwei Li, Rui Wen, Wenbo Jiang, Yuan Zhang, Michael Backes, Yun Shen, Yang Zhang

分类: cs.CR, cs.LG

发布日期: 2024-02-14 (更新: 2024-05-28)

💡 一句话要点

提出指令后门攻击以解决定制LLM的安全问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 指令后门攻击 定制LLM 安全性评估 模型审计 防御策略 自然语言处理 机器学习

📋 核心要点

  1. 现有的定制LLM解决方案在安全性方面存在显著漏洞，尤其是对第三方版本的信任问题。
  2. 本文提出了一种新颖的指令后门攻击方法，通过设计特定提示将后门嵌入定制LLM中，攻击者可以在特定触发条件下获得预期结果。
  3. 实验结果显示，针对6个主流LLM和5个基准文本分类数据集的攻击效果显著，且未影响模型的实用性。

📝 摘要（中文）

随着定制大型语言模型（LLMs）需求的增加，诸如GPT的解决方案应运而生，允许通过自然语言提示创建定制LLM。然而，第三方定制版本的可信度仍然是一个重要问题。本文首次提出针对集成不可信定制LLM（如GPT）的应用的指令后门攻击。这些攻击通过设计带有后门指令的提示，将后门嵌入定制LLM中，当输入包含预定义触发器时，输出攻击者所期望的结果。我们的攻击包括词级、语法级和语义级三个层次，采用不同类型的触发器，具有逐步隐蔽性。实验结果表明，我们的攻击在不影响实用性的情况下，成功实现了预期的攻击效果。此外，我们还提出了两种防御策略，并展示了其在减少此类攻击中的有效性。我们的研究揭示了LLM定制（如GPT）的脆弱性和潜在风险。

🔬 方法详解

问题定义：本文旨在解决定制大型语言模型（LLMs）中存在的安全隐患，尤其是针对不可信版本的后门攻击问题。现有方法未能有效防范此类攻击，导致用户信任度下降。

核心思路：我们提出的指令后门攻击通过设计特定的提示，将后门嵌入定制LLM中，使得在输入特定触发器时，模型输出攻击者预期的结果。这种方法不需要对后端LLM进行微调或修改，符合GPT开发指南。

技术框架：攻击分为三个层次：词级、语法级和语义级，每个层次采用不同类型的触发器，具有逐步隐蔽性。整体流程包括后门设计、触发器嵌入和攻击执行三个主要阶段。

关键创新：本研究的创新点在于首次提出了针对定制LLM的指令后门攻击，且不依赖于传统的微调方法，显著提高了攻击的隐蔽性和有效性。

关键设计：在设计过程中，我们关注了触发器的选择和嵌入方式，确保其在不影响模型正常功能的情况下，能够有效激活后门。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的指令后门攻击在6个主流LLM上实现了高达90%的攻击成功率，且在5个基准文本分类数据集上未显著降低模型的实用性，展示了攻击的有效性和隐蔽性。

🎯 应用场景

该研究的潜在应用场景包括安全性评估、模型审计和防御策略开发等领域。通过识别和防范指令后门攻击，能够提升定制LLM的安全性和用户信任度，具有重要的实际价值和未来影响。

📄 摘要（原文）

The increasing demand for customized Large Language Models (LLMs) has led to the development of solutions like GPTs. These solutions facilitate tailored LLM creation via natural language prompts without coding. However, the trustworthiness of third-party custom versions of LLMs remains an essential concern. In this paper, we propose the first instruction backdoor attacks against applications integrated with untrusted customized LLMs (e.g., GPTs). Specifically, these attacks embed the backdoor into the custom version of LLMs by designing prompts with backdoor instructions, outputting the attacker's desired result when inputs contain the pre-defined triggers. Our attack includes 3 levels of attacks: word-level, syntax-level, and semantic-level, which adopt different types of triggers with progressive stealthiness. We stress that our attacks do not require fine-tuning or any modification to the backend LLMs, adhering strictly to GPTs development guidelines. We conduct extensive experiments on 6 prominent LLMs and 5 benchmark text classification datasets. The results show that our instruction backdoor attacks achieve the desired attack performance without compromising utility. Additionally, we propose two defense strategies and demonstrate their effectiveness in reducing such attacks. Our findings highlight the vulnerability and the potential risks of LLM customization such as GPTs.