Behind the Refusal: Determining Guardrail Activation via Behavioral Monitoring

📄 arXiv: 2607.02121v1 📥 PDF

作者: William Hackett, Peter Garraghan

分类: cs.CR, cs.AI

发布日期: 2026-07-02

备注: 19 pages, 13 figures, 4 tables

💡 一句话要点

提出黑箱守卫侦察方法以解决AI安全监测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 黑箱对抗 AI安全 行为监测 大型语言模型 守卫系统

📋 核心要点

  1. 现有方法在黑箱对抗仿真中难以区分守卫阻止与LLM拒绝，影响攻击技术选择与优化。
  2. 本文提出了一种基于行为监测的黑箱守卫侦察方法，仅需黑箱访问和零先验知识即可检测守卫存在。
  3. 实验结果显示，该方法以100%准确率检测守卫，并在未见提示上以98% F1分数区分守卫阻止与LLM拒绝。

📝 摘要（中文）

随着大型语言模型（LLMs）和自主系统在实际应用中的集成，确保其安全性至关重要。守卫系统用于检测和阻止恶意指令的传递，是AI安全的重要组成部分。然而，研究人员在对生产AI系统进行黑箱对抗仿真时，常常难以判断是守卫阻止了请求还是LLM拒绝了请求。本文提出了一种首个黑箱守卫侦察方法，通过对HTTP、词汇和时间信号的行为监测，检测目标AI系统中守卫的存在。实验表明，该方法以100%的准确率检测守卫的存在，并且在良性和恶性交互之间具有统计显著的行为差异（q < 0.001）。此外，该方法还识别守卫设计阻止的内容类别，并在未见提示上以98%的平均F1分数区分守卫阻止和LLM拒绝。

🔬 方法详解

问题定义：本文旨在解决在黑箱对抗仿真中，研究人员无法有效区分守卫阻止与LLM拒绝的问题。现有方法缺乏对守卫系统的有效监测手段，导致攻击技术选择和优化受到限制。

核心思路：论文提出的核心思路是通过对HTTP请求、词汇使用和时间信号的行为监测，来判断目标AI系统中是否存在守卫。这种方法假设研究者仅能进行黑箱访问，并且对守卫或AI系统没有任何先验知识。

技术框架：整体架构包括数据收集、特征提取和行为分析三个主要模块。首先，通过监测HTTP请求和响应，收集相关行为数据；然后，提取词汇和时间特征；最后，利用统计分析方法判断守卫的存在及其阻止的内容类别。

关键创新：最重要的技术创新在于提出了一种新的黑箱侦察方法，能够在没有任何先验知识的情况下，准确检测守卫的存在并区分其阻止与LLM拒绝的行为。这与现有方法的本质区别在于其对行为信号的全面监测和分析。

关键设计：在技术细节上，论文设计了特定的特征提取算法，确保能够有效捕捉到HTTP请求的变化、词汇的选择以及响应时间的差异。此外，使用了统计显著性检验（q < 0.001）来验证行为差异的可靠性。实验中还采用了F1分数作为评估指标，以确保模型在未见提示上的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的方法以100%的准确率检测守卫的存在，并且在良性与恶性交互之间具有显著的行为差异（q < 0.001）。此外，在未见提示上，该方法以98%的平均F1分数成功区分守卫阻止与LLM拒绝，展现了其优越的性能。

🎯 应用场景

该研究的潜在应用领域包括AI安全监测、对抗性攻击检测和智能系统的安全审计。通过准确识别守卫的存在及其阻止的内容，能够为AI系统的安全性提供更强的保障，减少恶意攻击的风险。未来，该方法可能在更多实际应用中得到推广，提升AI系统的整体安全性。

📄 摘要（原文）

As Large Language Models (LLMs) and agentic systems become integrated into real-world applications, ensuring their safety and security is critical. Guardrail systems that detect and block malicious instructions sent to and from an LLM are an essential component of AI security. However, researchers conducting black-box adversarial emulation against production AI systems often struggle to determine whether a guardrail block or an LLM rejection has occurred. This distinction is important because the techniques used to bypass guardrails can differ substantially from those used to bypass LLM safety alignment, and has a material impact on attack technique selection and optimization. We propose the first black-box guardrail reconnaissance methodology, which detects the presence of a guardrail within a target AI system through behavioral monitoring of HTTP, lexical, and timing signals, assuming only black-box access and zero prior knowledge of the guardrail or AI system. Experiments demonstrate that our approach detects guardrail presence with 100% accuracy, with statistically significant behavioral separation between benign and malicious interactions (q < 0.001). Our approach further identifies the content categories a guardrail is designed to block, and distinguishes guardrail blocks from LLM rejection on unseen prompts with an average F1 score of 98%.