Universal Jailbreak Backdoors from Poisoned Human Feedback

📄 arXiv: 2311.14455v4 📥 PDF

作者: Javier Rando, Florian Tramèr

分类: cs.AI, cs.CL, cs.CR, cs.LG

发布日期: 2023-11-24 (更新: 2024-04-29)

备注: Accepted as conference paper in ICLR 2024

💡 一句话要点

提出普适性监狱逃脱后门以应对RLHF模型的安全威胁

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 人类反馈 监狱逃脱后门 安全性 对抗性攻击 模型鲁棒性 数据污染

📋 核心要点

  1. 现有RLHF方法在安全性方面存在不足，容易受到对抗性提示的攻击，导致模型行为失控。
  2. 本文提出通过污染RLHF训练数据来嵌入监狱逃脱后门的方案，利用触发词实现对模型的控制。
  3. 研究表明，普适性监狱逃脱后门的植入难度较高，且其效果显著优于以往的后门攻击方式。

📝 摘要（中文）

强化学习与人类反馈（RLHF）用于使大型语言模型产生有益且无害的响应。然而，先前的研究表明，这些模型可以通过对抗性提示被破解。本文考虑了一种新威胁，攻击者通过污染RLHF训练数据在模型中嵌入“监狱逃脱后门”。该后门将触发词嵌入模型，像通用的“sudo命令”一样：在任何提示中添加触发词即可启用有害响应，而无需寻找对抗性提示。普适性监狱逃脱后门比先前研究的语言模型后门更强大，且使用常见的后门攻击技术更难植入。我们调查了RLHF设计决策对其声称的鲁棒性贡献，并发布了污染模型的基准，以刺激未来对普适性监狱逃脱后门的研究。

🔬 方法详解

问题定义：本文旨在解决RLHF模型在安全性方面的脆弱性，尤其是针对对抗性提示的攻击。现有方法未能有效防止攻击者通过污染训练数据来植入后门。

核心思路：论文提出了一种新型的后门攻击方式，通过在训练数据中嵌入触发词，使得模型在接收到该词时产生有害响应。这种设计避免了对抗性提示的复杂搜索过程。

技术框架：整体架构包括数据污染模块、后门嵌入模块和模型训练模块。数据污染模块负责生成带有触发词的训练样本，后门嵌入模块将这些样本整合进训练数据中，最后进行模型训练。

关键创新：最重要的创新在于提出了普适性监狱逃脱后门的概念，强调其在不同提示下的通用性和强大能力，与传统后门攻击方法相比，具有更高的隐蔽性和有效性。

关键设计：在设计中，选择了特定的触发词，并通过调整训练损失函数来优化后门的嵌入效果。此外，模型的网络结构经过精心设计，以确保在触发词出现时能够准确激活后门。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，普适性监狱逃脱后门的植入成功率显著高于传统后门攻击，且在多种提示下均能有效激活有害响应。具体性能数据尚未披露，但研究显示其在安全性方面的威胁显著增加。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的安全性评估、对抗性攻击防护以及AI系统的鲁棒性提升。通过识别和防范普适性监狱逃脱后门，能够增强模型在实际应用中的安全性，降低被恶意利用的风险。

📄 摘要（原文）

Reinforcement Learning from Human Feedback (RLHF) is used to align large language models to produce helpful and harmless responses. Yet, prior work showed these models can be jailbroken by finding adversarial prompts that revert the model to its unaligned behavior. In this paper, we consider a new threat where an attacker poisons the RLHF training data to embed a "jailbreak backdoor" into the model. The backdoor embeds a trigger word into the model that acts like a universal "sudo command": adding the trigger word to any prompt enables harmful responses without the need to search for an adversarial prompt. Universal jailbreak backdoors are much more powerful than previously studied backdoors on language models, and we find they are significantly harder to plant using common backdoor attack techniques. We investigate the design decisions in RLHF that contribute to its purported robustness, and release a benchmark of poisoned models to stimulate future research on universal jailbreak backdoors.