Watch Out for Your Guidance on Generation! Exploring Conditional Backdoor Attacks against Large Language Models
作者: Jiaming He, Wenbo Jiang, Guanyu Hou, Wenshu Fan, Rui Zhang, Hongwei Li
分类: cs.CL, cs.CR, cs.LG
发布日期: 2024-04-23 (更新: 2025-01-08)
备注: The paper has been accepted to AAAI 2025
💡 一句话要点
提出BrieFool以解决大语言模型的条件后门攻击问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 后门攻击 大语言模型 条件生成 隐蔽性 安全性评估
📋 核心要点
- 现有的后门攻击方法通常依赖固定触发器，容易被检测，降低了实用性。
- 本文提出了一种新型的后门攻击方法BrieFool，通过指定生成条件来激活后门，增强隐蔽性。
- 实验表明，BrieFool在安全和能力领域的成功率显著高于传统方法，达到94.3%。
📝 摘要（中文）
当前主流的大语言模型（LLMs）后门攻击通常设定固定触发器和特定响应，这种方法易被人类检测，限制了其在实际场景中的有效性。为增强后门激活的隐蔽性，本文提出了一种新的中毒范式，通过指定生成条件触发攻击。所提出的BrieFool攻击框架通过高效的指令采样和中毒数据生成，影响模型在目标条件下的行为。实验结果表明，BrieFool在安全和能力领域的成功率高于基线方法，在GPT-3.5-turbo上达到了94.3%。
🔬 方法详解
问题定义：本文旨在解决大语言模型中固定触发器后门攻击的隐蔽性不足问题。现有方法容易被人类检测，限制了其在实际应用中的有效性。
核心思路：论文提出了一种新的攻击范式，通过指定生成条件来触发后门，使得模型在正常条件下表现正常，而在特定条件下则产生有害输出。这种设计利用了用户在模型推理时常用的生成策略。
技术框架：BrieFool攻击框架主要包括两个阶段：首先是高效的指令采样，其次是中毒数据的生成。这两个阶段共同作用，以影响模型在目标条件下的行为。
关键创新：BrieFool的核心创新在于通过生成条件触发后门，相较于传统方法的固定触发器，提供了更高的隐蔽性和有效性。
关键设计：在技术细节上，BrieFool采用了特定的损失函数和网络结构，以优化指令采样和中毒数据生成的效率，确保在目标条件下的攻击成功率最大化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，BrieFool在安全和能力领域的成功率显著高于基线方法，特别是在GPT-3.5-turbo上达到了94.3%的成功率，展示了其在隐蔽性和有效性方面的优势。
🎯 应用场景
该研究的潜在应用领域包括安全性评估、模型鲁棒性测试以及对抗性攻击的防御策略。通过提升后门攻击的隐蔽性，研究者可以更好地理解和防范大语言模型中的安全隐患，进而推动相关技术的发展与应用。
📄 摘要（原文）
Mainstream backdoor attacks on large language models (LLMs) typically set a fixed trigger in the input instance and specific responses for triggered queries. However, the fixed trigger setting (e.g., unusual words) may be easily detected by human detection, limiting the effectiveness and practicality in real-world scenarios. To enhance the stealthiness of backdoor activation, we present a new poisoning paradigm against LLMs triggered by specifying generation conditions, which are commonly adopted strategies by users during model inference. The poisoned model performs normally for output under normal/other generation conditions, while becomes harmful for output under target generation conditions. To achieve this objective, we introduce BrieFool, an efficient attack framework. It leverages the characteristics of generation conditions by efficient instruction sampling and poisoning data generation, thereby influencing the behavior of LLMs under target conditions. Our attack can be generally divided into two types with different targets: Safety unalignment attack and Ability degradation attack. Our extensive experiments demonstrate that BrieFool is effective across safety domains and ability domains, achieving higher success rates than baseline methods, with 94.3 % on GPT-3.5-turbo