False Sense of Security: Why Probing-based Malicious Input Detection Fails to Generalize

📄 arXiv: 2509.03888v3 📥 PDF

作者: Cheng Wang, Zeming Wei, Qin Liu, Muhao Chen

分类: cs.CL

发布日期: 2025-09-04 (更新: 2025-12-15)

🔗 代码/项目: GITHUB

💡 一句话要点

揭示基于探针的恶意输入检测方法泛化性不足的根本原因

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型安全 恶意输入检测 探针方法 泛化能力 表面模式

📋 核心要点

  1. 现有基于探针的恶意输入检测方法在泛化性上存在不足，无法有效识别分布外的恶意输入。
  2. 论文提出探针学习的是输入中的表面模式（如指令模式和触发词），而非真正的语义有害性。
  3. 通过受控实验和详细分析，验证了探针方法的局限性，并提出了改进模型和评估协议的建议。

📝 摘要（中文）

大型语言模型（LLMs）可能执行有害指令，这引发了严重的安全问题，尽管它们的能力令人印象深刻。最近的研究利用基于探针的方法来研究LLMs内部表示中恶意和良性输入的可分离性，并且研究人员已经提出使用这种探针方法进行安全检测。我们系统地重新审视了这种范式。受到较差的分布外性能的启发，我们假设探针学习的是表面模式，而不是语义上的有害性。通过受控实验，我们证实了这一假设，并确定了所学习的特定模式：指令模式和触发词。我们的研究遵循一种系统的方法，从展示简单的n-gram方法的可比性能，到使用语义清理的数据集进行受控实验，再到对模式依赖性的详细分析。这些结果揭示了当前基于探针的方法存在一种虚假的安全感，并强调需要重新设计模型和评估协议，为此我们提供了进一步的讨论，希望为该方向的负责任的进一步研究提供建议。我们已经在https://github.com/WangCheng0116/Why-Probe-Fails上开源了该项目。

🔬 方法详解

问题定义：现有基于探针的恶意输入检测方法旨在通过训练分类器（探针）区分LLM内部表示中良性和恶意输入。然而，这些方法在面对分布外的恶意输入时，性能显著下降，表明其泛化能力不足。痛点在于探针可能学习了训练数据中的表面模式，而非真正的语义有害性。

核心思路：论文的核心思路是探针学习的是输入中的表面模式，例如特定的指令模式或触发词，而非深层的语义有害性。因此，即使输入在语义上是无害的，只要包含这些表面模式，探针就可能将其错误地识别为恶意输入。反之亦然。

技术框架：论文采用了一种系统性的研究方法。首先，通过简单的n-gram模型验证了表面模式的重要性。然后，构建了语义清理的数据集，通过控制实验来隔离和分析不同表面模式的影响。最后，对探针学习到的模式依赖性进行了详细分析，以揭示其泛化能力不足的根本原因。

关键创新：论文最重要的技术创新点在于揭示了基于探针的恶意输入检测方法的局限性，并指出了其泛化能力不足的根本原因：探针学习的是表面模式而非语义有害性。这与之前认为探针能够捕获LLM内部表示中恶意输入的语义信息的观点形成了鲜明对比。

关键设计：论文的关键设计包括：1) 构建语义清理的数据集，通过控制实验来隔离和分析不同表面模式的影响。例如，通过替换恶意输入中的触发词，或者改变指令的表达方式，来观察探针的性能变化。2) 使用简单的n-gram模型作为基线，来验证表面模式的重要性。3) 对探针学习到的模式依赖性进行详细分析，例如通过可视化探针的权重，或者通过对抗攻击来揭示其脆弱性。

📊 实验亮点

论文通过实验证明，简单的n-gram模型可以达到与基于探针的方法相当的性能，这表明探针可能主要依赖于表面模式。在语义清理的数据集上进行的受控实验进一步证实了这一假设，并揭示了探针学习的特定模式：指令模式和触发词。这些发现挑战了当前基于探针的方法的有效性。

🎯 应用场景

该研究成果对于提升大型语言模型的安全性具有重要意义。通过理解现有恶意输入检测方法的局限性，可以指导研究人员设计更鲁棒、更具有泛化能力的检测方法。此外，该研究也提醒人们在评估LLM安全性时，需要更加关注评估协议的合理性，避免产生虚假的安全感。

📄 摘要（原文）

Large Language Models (LLMs) can comply with harmful instructions, raising serious safety concerns despite their impressive capabilities. Recent work has leveraged probing-based approaches to study the separability of malicious and benign inputs in LLMs' internal representations, and researchers have proposed using such probing methods for safety detection. We systematically re-examine this paradigm. Motivated by poor out-of-distribution performance, we hypothesize that probes learn superficial patterns rather than semantic harmfulness. Through controlled experiments, we confirm this hypothesis and identify the specific patterns learned: instructional patterns and trigger words. Our investigation follows a systematic approach, progressing from demonstrating comparable performance of simple n-gram methods, to controlled experiments with semantically cleaned datasets, to detailed analysis of pattern dependencies. These results reveal a false sense of security around current probing-based approaches and highlight the need to redesign both models and evaluation protocols, for which we provide further discussions in the hope of suggesting responsible further research in this direction. We have open-sourced the project at https://github.com/WangCheng0116/Why-Probe-Fails.