Behind the Refusal: Determining Guardrail Activation via Behavioral Monitoring

📄 arXiv: 2607.02121 📥 PDF

作者: William Hackett, Peter Garraghan

分类: cs.CR, cs.AI

发布日期: 2026-07-05

💡 一句话要点

提出黑箱守卫侦察方法以解决AI系统安全监测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 黑箱对抗模拟 守卫系统 行为监测 安全性评估 大型语言模型

📋 核心要点

  1. 现有方法在黑箱对抗模拟中难以区分守卫阻止与LLM拒绝，影响攻击技术选择与优化。
  2. 提出了一种基于行为监测的黑箱守卫侦察方法，仅需黑箱访问和零先验知识即可检测守卫存在。
  3. 实验结果显示，该方法以100%准确率检测守卫，并在未见提示上实现98%的F1分数，表现优异。

📝 摘要（中文）

随着大型语言模型（LLMs）和自主系统在实际应用中的集成，确保其安全性至关重要。守卫系统用于检测和阻止发送给LLM的恶意指令。然而，研究人员在对生产AI系统进行黑箱对抗模拟时，常常难以判断是守卫阻止了请求还是LLM拒绝了请求。本文提出了一种首个黑箱守卫侦察方法，通过对HTTP、词汇和时间信号的行为监测，检测目标AI系统中守卫的存在。实验表明，该方法以100%的准确率检测守卫的存在，并在良性与恶性交互之间实现了统计显著的行为分离（q < 0.001）。此外，该方法还识别守卫设计阻止的内容类别，并在未见提示上以98%的平均F1分数区分守卫阻止与LLM拒绝。

🔬 方法详解

问题定义：本文旨在解决在黑箱对抗模拟中，研究人员难以判断守卫系统是否阻止了请求的问题。现有方法缺乏有效的手段来区分守卫阻止与LLM拒绝，导致攻击技术选择和优化受到影响。

核心思路：论文提出了一种新的黑箱守卫侦察方法，通过监测HTTP请求、词汇使用和时间信号来判断守卫的存在。这种设计允许在没有任何先验知识的情况下进行有效的检测。

技术框架：该方法包括三个主要模块：1) 行为监测模块，收集HTTP、词汇和时间信号；2) 数据分析模块，分析收集到的信号以识别守卫的存在；3) 分类模块，基于分析结果区分守卫阻止与LLM拒绝。

关键创新：最重要的创新在于提出了一种全新的黑箱侦察方法，能够在没有先验知识的情况下，通过行为信号的监测实现守卫的准确检测。这与现有方法的本质区别在于其无需对AI系统有深入了解。

关键设计：在技术细节上，方法使用了特定的信号处理算法来提取HTTP请求的特征，并结合统计分析方法来实现行为分离。此外，采用了适当的损失函数以优化分类性能，确保高准确率和F1分数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，该方法以100%的准确率检测守卫的存在，并在良性与恶性交互之间实现了统计显著的行为分离（q < 0.001）。在未见提示上，该方法能够以98%的平均F1分数区分守卫阻止与LLM拒绝，表现出色。

🎯 应用场景

该研究的潜在应用领域包括AI安全监测、对抗性攻击检测和智能系统的安全性评估。通过有效识别守卫系统的存在，能够为AI系统的安全性提供更强的保障，减少恶意攻击的风险，具有重要的实际价值和未来影响。

📄 摘要（原文）

As Large Language Models (LLMs) and agentic systems become integrated into real-world applications, ensuring their safety and security is critical. Guardrail systems that detect and block malicious instructions sent to and from an LLM are an essential component of AI security. However, researchers conducting black-box adversarial emulation against production AI systems often struggle to determine whether a guardrail block or an LLM rejection has occurred. This distinction is important because the techniques used to bypass guardrails can differ substantially from those used to bypass LLM safety alignment, and has a material impact on attack technique selection and optimization. We propose the first black-box guardrail reconnaissance methodology, which detects the presence of a guardrail within a target AI system through behavioral monitoring of HTTP, lexical, and timing signals, assuming only black-box access and zero prior knowledge of the guardrail or AI system. Experiments demonstrate that our approach detects guardrail presence with 100% accuracy, with statistically significant behavioral separation between benign and malicious interactions (q < 0.001). Our approach further identifies the content categories a guardrail is designed to block, and distinguishes guardrail blocks from LLM rejection on unseen prompts with an average F1 score of 98%.