BadChain: Backdoor Chain-of-Thought Prompting for Large Language Models

📄 arXiv: 2401.12242v1 📥 PDF

作者: Zhen Xiang, Fengqing Jiang, Zidi Xiong, Bhaskar Ramasubramanian, Radha Poovendran, Bo Li

分类: cs.CR, cs.LG

发布日期: 2024-01-20

备注: Accepted to ICLR2024

💡 一句话要点

提出BadChain以解决大型语言模型的后门攻击问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 后门攻击 大型语言模型 链式思维 推理能力 安全性测试 对抗性机器学习

📋 核心要点

  1. 现有的后门攻击方法通常需要访问训练数据或模型参数，这在商业化的LLMs中难以实现，导致其脆弱性难以被有效利用。
  2. BadChain通过在推理步骤中插入后门推理步骤，利用LLMs的推理能力，在不需要训练数据或模型参数的情况下实施后门攻击。
  3. 实验证明，BadChain在多个LLMs上表现出色，尤其是GPT-4在复杂任务中的攻击成功率高达97.0%，显示出其有效性和威胁性。

📝 摘要（中文）

大型语言模型（LLMs）在处理需要系统推理过程的任务时，链式思维（COT）提示被证明是有效的。然而，COT提示也带来了新的脆弱性，即后门攻击。在这种攻击中，模型在特定的后门触发条件下输出意图外的恶意内容。传统的后门攻击方法通常需要访问训练数据集或直接操控模型参数，这在商业LLMs中并不实用。本文提出了BadChain，这是首个针对使用COT提示的LLMs的后门攻击方法，它不需要访问训练数据集或模型参数，并且计算开销低。通过将后门推理步骤插入模型输出的推理步骤序列中，BadChain能够在查询提示中存在后门触发时改变最终响应。实验证明，BadChain在四个LLMs（Llama2、GPT-3.5、PaLM2和GPT-4）和六个复杂基准任务中表现出色，尤其是GPT-4在六个基准任务上的平均攻击成功率高达97.0%。

🔬 方法详解

问题定义：本文解决的是大型语言模型在链式思维提示下的后门攻击问题。现有方法通常依赖于对训练数据集的污染或模型参数的操控，这在实际应用中存在很大局限性。

核心思路：BadChain的核心思路是通过在推理步骤中插入一个后门推理步骤，利用LLMs的推理能力，在特定的后门触发条件下改变模型的最终输出。这样的设计使得攻击者无需直接访问模型或训练数据即可实施攻击。

技术框架：BadChain的整体架构包括两个主要阶段：首先，识别并插入后门推理步骤；其次，在查询提示中检测后门触发条件并生成相应的恶意输出。

关键创新：BadChain的最大创新在于其不依赖于传统的后门攻击方法，能够在不接触训练数据和模型参数的情况下，利用LLMs的推理能力进行有效攻击。这一方法的提出为后门攻击的研究开辟了新的方向。

关键设计：在实现过程中，BadChain设计了特定的后门触发条件和推理步骤的插入机制，确保在复杂任务中能够有效地改变模型输出，同时保持较低的计算开销。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，BadChain在六个复杂基准任务上对GPT-4的攻击成功率高达97.0%，而且在不同的COT策略下均表现出色。这一结果表明，具有更强推理能力的LLMs更容易受到BadChain的攻击，突显了其潜在威胁。

🎯 应用场景

该研究的潜在应用领域包括安全性测试、模型评估以及对抗性机器学习。通过识别和理解后门攻击的机制，研究人员和开发者可以更好地设计防御措施，提高大型语言模型的安全性和可靠性。未来，随着LLMs在各个领域的广泛应用，理解其脆弱性将变得尤为重要。

📄 摘要（原文）

Large language models (LLMs) are shown to benefit from chain-of-thought (COT) prompting, particularly when tackling tasks that require systematic reasoning processes. On the other hand, COT prompting also poses new vulnerabilities in the form of backdoor attacks, wherein the model will output unintended malicious content under specific backdoor-triggered conditions during inference. Traditional methods for launching backdoor attacks involve either contaminating the training dataset with backdoored instances or directly manipulating the model parameters during deployment. However, these approaches are not practical for commercial LLMs that typically operate via API access. In this paper, we propose BadChain, the first backdoor attack against LLMs employing COT prompting, which does not require access to the training dataset or model parameters and imposes low computational overhead. BadChain leverages the inherent reasoning capabilities of LLMs by inserting a backdoor reasoning step into the sequence of reasoning steps of the model output, thereby altering the final response when a backdoor trigger exists in the query prompt. Empirically, we show the effectiveness of BadChain for two COT strategies across four LLMs (Llama2, GPT-3.5, PaLM2, and GPT-4) and six complex benchmark tasks encompassing arithmetic, commonsense, and symbolic reasoning. Moreover, we show that LLMs endowed with stronger reasoning capabilities exhibit higher susceptibility to BadChain, exemplified by a high average attack success rate of 97.0% across the six benchmark tasks on GPT-4. Finally, we propose two defenses based on shuffling and demonstrate their overall ineffectiveness against BadChain. Therefore, BadChain remains a severe threat to LLMs, underscoring the urgency for the development of robust and effective future defenses.