DoubtProbe: Black-Box Jailbreak Defense via Structural Verification and Semantic Auditing

📄 arXiv: 2606.16527v1 📥 PDF

作者: Xuanyu Yin, Yilin Jiang, Jun Zhou, Kai Chen, Zhengfu Cao, Xiaolei Dong

分类: cs.CR, cs.CL

发布日期: 2026-06-15

备注: 25 pages, 5 figures

💡 一句话要点

提出DoubtProbe以解决黑箱越狱防御问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 黑箱越狱 安全防护 结构验证 语义审计 一致性检查 大型语言模型 防御机制

📋 核心要点

  1. 现有黑箱越狱防御方法在面对不断演变的攻击时，往往表现不稳定，难以有效应对新型攻击。
  2. DoubtProbe通过结合结构验证与语义审计，提出了一种一致性检查的方法来增强黑箱越狱防御能力。
  3. 实验结果表明，DoubtProbe在Qwen2.5-72B上将JBB攻击成功率从0.293降低至0.100，表现出更强的防御效果。

📝 摘要（中文）

随着大型语言模型（LLMs）在用户系统中的广泛应用，黑箱越狱防御已成为一个重要的实际问题。现有的防御方法通常依赖于已知攻击覆盖、提示级语义判断或局部运行时控制，但这些方法在提示包装、表达重写和结构操作不断演变的情况下可能变得不稳定。我们观察到许多黑箱越狱并未消除有害目标，而是重新组织了表达和执行所需的信息，从而在生成过程中规避安全对齐。基于这一观察，我们提出了DoubtProbe，一个结合结构验证和语义审计的双分支推理时防御框架，将黑箱越狱防御形式化为受控变换下的一致性检查。我们在越狱和良性请求基准上评估了DoubtProbe的表现，结果显示其在防御效用权衡上表现更强且更稳定。

🔬 方法详解

问题定义：论文要解决的具体问题是如何有效防御黑箱越狱攻击。现有方法的痛点在于它们依赖于已知攻击模式，缺乏对新型攻击的适应性，导致防御效果不稳定。

核心思路：DoubtProbe的核心思路是通过结构验证和语义审计相结合，进行一致性检查，从而识别和防御黑箱越狱攻击。这种设计能够有效捕捉到信息重组带来的潜在风险。

技术框架：DoubtProbe的整体架构分为两个主要模块：结构分支和语义分支。结构分支负责从原始请求中提取结构化表示，并在表示约束下重构请求；语义分支则直接审计原始提示。

关键创新：DoubtProbe的关键创新在于利用结构不一致信号作为黑箱越狱防御的基础，这与现有方法的依赖已知攻击模式的本质区别，使其在面对新型攻击时更具鲁棒性。

关键设计：在设计中，DoubtProbe设置了特定的表示约束，并采用了适当的损失函数来衡量原始请求与重构请求之间的信息保留情况，确保防御的有效性和稳定性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，DoubtProbe在Qwen2.5-72B上将JBB攻击成功率从0.293降低至0.100，CodeAttack成功率从0.152降至0.001，同时在AlpacaEval和OR-Bench上保持了较低的误报率，分别为0.022和0.016。这些结果表明DoubtProbe在防御效用权衡上表现出色，且在Llama-3.1-70B上同样保持稳定。

🎯 应用场景

DoubtProbe的研究成果在多个领域具有潜在应用价值，尤其是在需要保护用户数据和系统安全的场景中，如社交媒体、在线客服和智能助手等。通过增强黑箱越狱防御能力，可以有效降低系统被攻击的风险，提升用户信任度。未来，该方法还可能扩展到其他类型的安全防护任务中。

📄 摘要（原文）

As large language models (LLMs) are increasingly deployed in user-facing systems, black-box jailbreak defense has become an important practical problem. Existing defenses often rely on known-attack coverage, prompt-level semantic judgment, or local runtime control, yet these paths can become unstable under evolving prompt packaging, expression rewriting, and structure manipulation. We observe that many black-box jailbreaks do not remove the harmful goal, but reorganize the information needed to express and execute it, thereby evading safety alignment while remaining recoverable during generation. Motivated by this observation, we propose DoubtProbe, a dual-branch inference-time defense framework that combines structural verification with semantic auditing and formulates black-box jailbreak defense as consistency checking under controlled transformation. The structural branch extracts a structured representation from the original request, reconstructs the request under representation constraints, and detects information-preservation failures between the original and reconstructed requests; the semantic branch audits the original prompt directly. We evaluate DoubtProbe against representative black-box defenses on jailbreak and benign-request benchmarks, and further test backbone transfer from Qwen2.5-72B to Llama-3.1-70B. Results show that DoubtProbe achieves a stronger and more stable defense-utility trade-off: on Qwen2.5-72B, it reduces the JBB attack success rate from 0.293 to 0.100 and the CodeAttack attack success rate from 0.152 to 0.001, while maintaining false positive rates of 0.022 and 0.016 on AlpacaEval and OR-Bench; the same pattern remains stable on Llama-3.1-70B. These findings show that structural inconsistency signals provide a practical and generalizable basis for black-box jailbreak defense, especially when combined with semantic auditing.