Adversarial Text Purification: A Large Language Model Approach for Defense

📄 arXiv: 2402.06655v1 📥 PDF

作者: Raha Moraffah, Shubh Khandelwal, Amrita Bhattacharjee, Huan Liu

分类: cs.CR, cs.AI, cs.CL, cs.LG

发布日期: 2024-02-05

备注: PAKDD 2024

💡 一句话要点

提出对抗性文本净化方法以增强文本分类器的防御能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对抗性攻击 文本分类 大型语言模型 对抗性净化 自然语言处理 机器学习

📋 核心要点

  1. 现有的对抗性净化方法在处理离散输入的噪声扰动时面临挑战，导致文本分类器的防御效果较差。
  2. 本文提出了一种新颖的对抗性文本净化方法，利用大型语言模型的生成能力，无需明确表征噪声扰动。
  3. 实验结果显示，所提方法在多种分类器上显著提高了准确率，平均提升超过65%。

📝 摘要（中文）

对抗性净化是一种防御机制，旨在保护分类器免受对抗性攻击，而无需了解攻击类型或分类器的训练过程。本文探讨了对抗性文本净化在文本分类器防御中的有效性，提出了一种新颖的对抗性文本净化方法，利用大型语言模型的生成能力来净化对抗性文本，而无需明确表征离散噪声扰动。通过提示工程，我们利用大型语言模型恢复给定对抗性示例的净化样本，使其在语义上相似且被正确分类。实验结果表明，该方法在多种分类器上表现出色，平均提高了65%以上的准确率。

🔬 方法详解

问题定义：本文旨在解决对抗性文本净化在文本分类器防御中的不足，现有方法在处理离散输入时难以有效表征噪声扰动，导致防御效果不佳。

核心思路：论文的核心思路是利用大型语言模型的生成能力，通过提示工程来恢复对抗性示例的净化样本，而不需要明确表征噪声扰动，从而提高文本分类器的准确性。

技术框架：整体架构包括输入对抗性文本、通过大型语言模型生成净化文本、以及将净化文本输入分类器进行分类的流程。主要模块包括对抗性文本输入、提示设计和分类器输出。

关键创新：最重要的技术创新在于利用大型语言模型进行对抗性文本净化，这与现有方法的本质区别在于无需明确表征噪声扰动，从而简化了净化过程。

关键设计：在设计中，采用了特定的提示工程策略，以确保生成的净化文本在语义上与原始对抗性文本相似，同时设置了适当的损失函数以优化分类器的准确性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，所提出的对抗性文本净化方法在多种文本分类器上表现优异，平均提高了65%以上的分类准确率，显著优于现有的防御机制，展示了其强大的实用性和有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的文本分类、情感分析和信息检索等。通过增强文本分类器的防御能力，能够有效提升系统的安全性和可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Adversarial purification is a defense mechanism for safeguarding classifiers against adversarial attacks without knowing the type of attacks or training of the classifier. These techniques characterize and eliminate adversarial perturbations from the attacked inputs, aiming to restore purified samples that retain similarity to the initially attacked ones and are correctly classified by the classifier. Due to the inherent challenges associated with characterizing noise perturbations for discrete inputs, adversarial text purification has been relatively unexplored. In this paper, we investigate the effectiveness of adversarial purification methods in defending text classifiers. We propose a novel adversarial text purification that harnesses the generative capabilities of Large Language Models (LLMs) to purify adversarial text without the need to explicitly characterize the discrete noise perturbations. We utilize prompt engineering to exploit LLMs for recovering the purified examples for given adversarial examples such that they are semantically similar and correctly classified. Our proposed method demonstrates remarkable performance over various classifiers, improving their accuracy under the attack by over 65% on average.