Hijacking Large Language Models via Adversarial In-Context Learning

📄 arXiv: 2311.09948v3 📥 PDF

作者: Xiangyu Zhou, Yao Qiang, Saleh Zare Zade, Prashant Khanduri, Dongxiao Zhu

分类: cs.LG, cs.CL, cs.CR

发布日期: 2023-11-16 (更新: 2025-05-29)

💡 一句话要点

提出可转移的提示注入攻击以解决大语言模型的安全性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对抗攻击 上下文学习 大语言模型 安全性 提示注入 鲁棒性 防御策略

📋 核心要点

  1. 现有的对抗攻击方法在检测上容易被识别，或需要特定的用户输入触发器，缺乏对上下文学习的针对性。
  2. 本文提出了一种新颖的可转移提示注入攻击，通过梯度搜索方法生成不可察觉的对抗后缀，劫持LLMs的输出。
  3. 实验结果显示，所提攻击在多个分类和越狱任务中表现出色，同时提出的防御策略显著增强了模型的鲁棒性。

📝 摘要（中文）

上下文学习（ICL）作为一种强大的范式，通过在预设提示中利用标记示例来增强大语言模型（LLMs）在特定下游任务中的表现。然而，精心设计的对抗攻击对LLMs的鲁棒性构成了显著威胁。现有攻击方法要么易于检测，要么需要用户输入中的触发器，或缺乏对ICL的针对性。为了解决这些问题，本文提出了一种新颖的可转移提示注入攻击，旨在劫持LLMs生成目标输出或引发有害响应。通过梯度基础的提示搜索方法，攻击者可以学习并附加不可察觉的对抗后缀到上下文示例中。我们还提出了使用少量干净示例的有效防御策略，以增强LLMs在ICL过程中的鲁棒性。大量实验结果表明，所提攻击和防御策略的有效性，突显了LLMs在ICL过程中的安全漏洞，并强调了进一步深入研究的必要性。

🔬 方法详解

问题定义：本文解决的是大语言模型在上下文学习过程中面临的安全性问题，现有攻击方法存在易检测和缺乏针对性等痛点。

核心思路：通过引入可转移的提示注入攻击，利用梯度基础的搜索方法生成对抗后缀，从而劫持模型的输出，增强攻击的隐蔽性和有效性。

技术框架：整体流程包括攻击者作为模型发布者，利用梯度搜索方法学习并附加对抗后缀，形成新的上下文示例。防御策略则通过少量干净示例来提升模型的鲁棒性。

关键创新：最重要的技术创新在于提出了一种新型的提示注入攻击，能够在不依赖用户输入触发器的情况下，针对上下文学习进行有效攻击，这与现有方法形成了明显区别。

关键设计：在参数设置上，采用了梯度搜索算法来优化对抗后缀的生成，损失函数设计上注重对抗性与隐蔽性的平衡，确保生成的后缀在视觉上不可察觉。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提的提示注入攻击在多个分类任务中成功劫持了LLMs的输出，且在越狱任务中表现出显著的攻击成功率。同时，防御策略通过使用少量干净示例，提升了模型的鲁棒性，显示出良好的防御效果。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的安全性评估、对抗性训练以及模型的鲁棒性提升。通过识别和缓解对抗攻击，能够在实际应用中增强大语言模型的安全性，保护用户数据和隐私。未来，该研究可能推动更安全的AI系统的开发，促进对抗性学习的深入研究。

📄 摘要（原文）

In-context learning (ICL) has emerged as a powerful paradigm leveraging LLMs for specific downstream tasks by utilizing labeled examples as demonstrations (demos) in the preconditioned prompts. Despite its promising performance, crafted adversarial attacks pose a notable threat to the robustness of LLMs. Existing attacks are either easy to detect, require a trigger in user input, or lack specificity towards ICL. To address these issues, this work introduces a novel transferable prompt injection attack against ICL, aiming to hijack LLMs to generate the target output or elicit harmful responses. In our threat model, the hacker acts as a model publisher who leverages a gradient-based prompt search method to learn and append imperceptible adversarial suffixes to the in-context demos via prompt injection. We also propose effective defense strategies using a few shots of clean demos, enhancing the robustness of LLMs during ICL. Extensive experimental results across various classification and jailbreak tasks demonstrate the effectiveness of the proposed attack and defense strategies. This work highlights the significant security vulnerabilities of LLMs during ICL and underscores the need for further in-depth studies.