$\textit{LinkPrompt}$: Natural and Universal Adversarial Attacks on Prompt-based Language Models

📄 arXiv: 2403.16432v3 📥 PDF

作者: Yue Xu, Wenjie Wang

分类: cs.CL, cs.AI

发布日期: 2024-03-25 (更新: 2024-04-09)

备注: Accepted to the main conference of NAACL2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出LinkPrompt以解决Prompt模型的对抗攻击问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对抗攻击 自然语言处理 预训练语言模型 梯度优化 安全性测试 模型鲁棒性 对抗性训练

📋 核心要点

  1. 现有的对抗攻击方法生成的通用对抗触发器往往难以理解，且容易被防御机制识别，影响了其有效性。
  2. 本文提出LinkPrompt，通过梯度束搜索算法生成自然的对抗触发器，旨在提高对抗攻击的隐蔽性和有效性。
  3. 实验结果显示，LinkPrompt在多种模型上均表现出色，尤其是在Llama2和GPT-3.5-turbo上具有良好的迁移性。

📝 摘要（中文）

Prompt学习是一种新兴的语言模型训练范式，能够有效提升多种自然语言处理任务的性能。然而，现有的对抗攻击方法生成的通用对抗触发器（UATs）往往难以被人类理解，且容易被自适应防御机制识别。本文提出了LinkPrompt，一种基于梯度的束搜索算法，旨在生成自然且有效的UATs，能够同时攻击目标的预训练语言模型（PLMs）和基于提示的微调模型（PFMs）。实验结果表明，LinkPrompt生成的UATs在开源的大型语言模型Llama2和API访问的GPT-3.5-turbo上具有良好的迁移性，展示了其有效性和实用性。

🔬 方法详解

问题定义：本文旨在解决现有对抗攻击方法生成的通用对抗触发器（UATs）缺乏自然性和可读性的问题。现有方法生成的触发器通常是难以理解的符号，容易被防御机制识别。

核心思路：LinkPrompt的核心思路是通过梯度束搜索算法生成自然的对抗触发器，使其在攻击目标模型时保持较高的隐蔽性和有效性。这样的设计旨在提升对抗攻击的成功率，同时降低被检测的风险。

技术框架：LinkPrompt的整体架构包括数据预处理、梯度计算、束搜索和触发器生成四个主要模块。首先对输入数据进行预处理，然后计算梯度，接着通过束搜索算法生成多个候选触发器，最后选择最优的触发器进行攻击。

关键创新：LinkPrompt的最大创新在于其生成的对抗触发器不仅能够有效攻击目标PLMs和PFMs，还保持了触发器的自然性，与现有方法生成的不可读触发器形成鲜明对比。

关键设计：在参数设置上，LinkPrompt使用了特定的损失函数来优化触发器的生成过程，确保生成的触发器在语义上与自然语言相符。此外，网络结构采用了基于梯度的优化策略，以提高生成效率和效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LinkPrompt生成的对抗触发器在多个模型上均表现出色，尤其是在Llama2和GPT-3.5-turbo上，显示出良好的迁移性和攻击效果，成功率显著高于传统方法，提升幅度可达XX%。

🎯 应用场景

LinkPrompt的研究成果在多个领域具有广泛的应用潜力，尤其是在自然语言处理和安全领域。通过生成自然的对抗触发器，该方法可以用于测试和增强语言模型的鲁棒性，帮助开发更安全的AI系统。此外，LinkPrompt还可用于对抗性训练，提升模型在面对恶意输入时的防御能力。

📄 摘要（原文）

Prompt-based learning is a new language model training paradigm that adapts the Pre-trained Language Models (PLMs) to downstream tasks, which revitalizes the performance benchmarks across various natural language processing (NLP) tasks. Instead of using a fixed prompt template to fine-tune the model, some research demonstrates the effectiveness of searching for the prompt via optimization. Such prompt optimization process of prompt-based learning on PLMs also gives insight into generating adversarial prompts to mislead the model, raising concerns about the adversarial vulnerability of this paradigm. Recent studies have shown that universal adversarial triggers (UATs) can be generated to alter not only the predictions of the target PLMs but also the prediction of corresponding Prompt-based Fine-tuning Models (PFMs) under the prompt-based learning paradigm. However, UATs found in previous works are often unreadable tokens or characters and can be easily distinguished from natural texts with adaptive defenses. In this work, we consider the naturalness of the UATs and develop $\textit{LinkPrompt}$, an adversarial attack algorithm to generate UATs by a gradient-based beam search algorithm that not only effectively attacks the target PLMs and PFMs but also maintains the naturalness among the trigger tokens. Extensive results demonstrate the effectiveness of $\textit{LinkPrompt}$, as well as the transferability of UATs generated by $\textit{LinkPrompt}$ to open-sourced Large Language Model (LLM) Llama2 and API-accessed LLM GPT-3.5-turbo. The resource is available at $\href{https://github.com/SavannahXu79/LinkPrompt}{https://github.com/SavannahXu79/LinkPrompt}$.