ToxScreen: Detecting Whether an LLM Has Been Poisoned
作者: Anthony Hughes, Nicole Xing, Collin Francel, Andy Kim, Andrew Draganov
分类: cs.CR, cs.LG
发布日期: 2026-07-29
💡 一句话要点
提出ToxScreen以检测大语言模型是否被毒化
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 后门攻击 模型安全 毒化检测 攻击成功率 防御机制 机器学习
📋 核心要点
- 核心问题：现有方法在没有训练数据和可信参考模型的情况下，难以有效检测和恢复被毒化的大语言模型的后门触发器。
- 方法要点：论文提出了ToxScreen基准，通过对800个后门模型的评估，探索了不同攻击机制与模型权重之间的关系。
- 实验或效果：研究表明，基于攻击成功率的令牌查找方法在恢复后门触发器方面表现优异，且能够过滤越狱攻击。
📝 摘要（中文）
随着大语言模型（LLMs）在高风险领域的应用，攻击者可能会毒化训练数据以植入后门，即在推理时隐秘操控模型行为的触发器。本文探讨在现实条件下，防御者是否能够恢复这样的触发器。我们发布了ToxScreen，一个包含约800个后门模型的基准，涵盖了攻击目标、触发机制、毒化率、模型规模和后门训练机制。研究发现，基于梯度的提示优化在恢复触发器时失败，而通过攻击成功率排名候选的令牌查找方法能够有效恢复触发器。此外，后门的操作机制与越狱攻击存在不同，提供了有价值的信号。所有模型和评估代码均已发布。
🔬 方法详解
问题定义：本文旨在解决如何在缺乏训练数据和可信参考模型的情况下，检测和恢复被毒化的大语言模型的后门触发器。现有方法在此条件下的有效性不足，无法保证成功恢复触发器。
核心思路：论文的核心思路是通过构建ToxScreen基准，评估不同后门模型的攻击效果，并利用攻击成功率来优化触发器的恢复过程。该方法设计旨在在没有先验知识的情况下，依然能够有效识别后门。
技术框架：整体架构包括模型的选择、后门触发器的植入、攻击效果的评估以及恢复方法的实现。主要模块包括后门模型生成、触发器恢复和性能评估。
关键创新：最重要的技术创新在于提出了一种基于令牌查找的恢复方法，该方法通过攻击成功率对候选触发器进行排序，显著提高了触发器恢复的成功率，与传统的基于梯度的方法形成鲜明对比。
关键设计：在关键设计方面，论文详细描述了后门模型的构建过程、触发器的多样化机制以及恢复过程中采用的损失函数和参数设置，确保了模型的高质量和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，基于攻击成功率的令牌查找方法在恢复后门触发器方面表现优异，成功率显著高于传统的梯度优化方法。具体而言，该方法在后门有效的情况下，能够成功恢复触发器，提供了新的思路和工具来应对模型毒化问题。
🎯 应用场景
该研究的潜在应用领域包括安全敏感的人工智能系统，如金融、医疗和自动驾驶等领域。通过有效检测和恢复后门触发器，可以提高模型的安全性和可靠性，防止潜在的恶意攻击，保护用户数据和隐私。未来，该方法可能推动更广泛的模型安全评估标准的建立。
📄 摘要（原文）
As large language models (LLMs) are deployed in high-stakes domains, adversaries may poison training data to implant backdoors: hidden triggers that covertly manipulate model behavior at inference time. We ask whether a defender can recover such a trigger under realistic affordances, namely white-box access to the weights and knowledge of the behavior of concern, but no training data, no trusted reference model, no knowledge of the trigger, and no certainty that the model is poisoned. To evaluate whether a defender can recover such a trigger under realistic settings, we release ToxScreen, a benchmark of roughly 800 backdoored models spanning attack objectives, trigger mechanisms, poisoning rates, model scales, and backdoor training mechanisms. We also assert that the backdoors are high-quality: they achieve high attack success rates, generalize to unseen harmful inputs, and preserve clean-task performance. Scoring recovery of the planted trigger, we find that gradient-based prompt optimization fails in recovery, whereas a token look-up that ranks candidates by attack-success rate recovers the trigger wherever the backdoor is effective. To understand this more, we study the relationship between attack behaviors and the weights of an LLM. We find a phenomenon whereby backdoors operate via different mechanistic strategies than jailbreaks, allowing defenders to filter jailbreaks. Finally, no method reliably surfaces every backdoor, but a broadly jailbreakable model is itself anomalous, a useful signal even when the exact trigger is not recovered. We release all models and evaluation code