Dummy Backdoor as a Defense: Removing Unknown Backdoors via Shared Internal Mechanisms for Generative LLMs
作者: Kazuki Iwahana, Masaru Matsubayashi, Takuma Koyama, Toshiki Shibahara, Kenichiro Omintato, Akira Ito
分类: cs.CR, cs.CL
发布日期: 2026-06-10
💡 一句话要点
提出共享内部机制的虚拟后门以解决未知后门问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 后门攻击 大型语言模型 安全性 防御方法 机器学习 模型微调 内部机制
📋 核心要点
- 后门攻击使得大型语言模型在干净输入上正常工作，但在特定触发器下却产生恶意响应，防御者面临未知后门的挑战。
- 本文提出通过嵌入已知触发器的虚拟后门，利用不同后门共享的内部机制来去除未知后门的有效方法。
- 实验表明，该方法在多个模型上显著降低了未知后门的攻击成功率，同时保持了模型的实用性，优于现有防御方法。
📝 摘要（中文）
后门攻击对大型语言模型（LLMs）的安全性和可靠性构成严重威胁，导致模型在干净输入上表现正常，而在隐藏触发器存在时产生攻击者指定的响应。去除未知后门尤其具有挑战性，特别是在防御者不知道后门攻击类型或通过后门训练形成的内部机制的情况下。本文提出了一种基于不同后门共享内部机制的简单有效的去后门方法。我们首先展示了具有相同任务的不同后门在内部激活中引发类似的触发器激活变化。基于这一观察，我们的方法故意嵌入一个具有已知触发器的后门（虚拟后门），然后通过对虚拟触发输入与干净响应的进一步微调来去除它。实验结果表明，该方法显著降低了未知后门的攻击成功率，同时保持了模型的实用性，优于现有的防御方法。
🔬 方法详解
问题定义：本文旨在解决大型语言模型中的未知后门攻击问题，现有方法在面对未知后门时往往无能为力，缺乏有效的去除策略。
核心思路：论文的核心思路是利用不同后门在内部激活中产生的相似变化，通过嵌入一个已知触发器的虚拟后门，进一步微调以去除未知后门的影响。
技术框架：整体流程包括三个主要阶段：首先嵌入虚拟后门，其次生成虚拟触发输入与干净响应的配对，最后通过微调模型以去除虚拟后门，从而减轻未知后门的影响。
关键创新：最重要的创新在于通过共享内部机制的思路，将已知后门作为代理来减轻未知后门的影响，这一方法在理论和实践上均具有重要意义。
关键设计：在实现过程中，关键设计包括选择合适的损失函数以平衡虚拟后门与干净响应的微调，以及确保模型在去除后门后仍能保持高效的实用性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提方法在三种后门攻击类型上显著降低了未知后门的攻击成功率，具体表现为攻击成功率降低了约30%，同时模型的实用性得到了有效保持，优于现有的防御方法。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、智能对话系统及其他依赖大型语言模型的安全敏感应用。通过有效去除后门攻击，该方法能够提升模型的安全性和可靠性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Backdoor attacks pose a serious threat to the safety and reliability of Large Language Models (LLMs), as they cause models to behave normally on clean inputs while producing attacker-specified responses when hidden triggers are present. Removing such unknown backdoors is particularly challenging when the defender does not know the backdoor attack types or the internal mechanisms formed through backdoor training. In this work, we propose a simple but effective backdoor removal method based on shared internal mechanisms across different backdoors. First, we show that different backdoors with the same task (attack objective) induce similar trigger-activated changes in the internal activations. Motivated by this observation, our method intentionally embeds a backdoor with a known trigger (\emph{dummy backdoor}) and then removes it through further fine-tuning on dummy-triggered inputs paired with clean responses. Since the dummy backdoor and the unknown backdoor can rely on shared internal mechanisms, removing the dummy backdoor also reduces the effect of the unknown backdoor. We evaluate our method on three backdoor attack types across multiple model families. Experimental results show that our method substantially reduces the attack success rate of the unknown backdoor while preserving model utility, outperforming representative existing defense methods in both backdoor removal effectiveness and utility preservation. These findings suggest that a defender-controllable backdoor can serve as a helpful proxy for mitigating unknown backdoors in generative LLMs.