When AUC 0.998 Is Not Enough: A Candidate Evaluation Protocol for Hidden-State Probes of Indirect Prompt Injection in Multimodal Computer-Use Agents

📄 arXiv: 2606.22864v1 📥 PDF

作者: Yanhang Li, Zhichao Fan, Zexin Zhuang

分类: cs.LG

发布日期: 2026-06-22

备注: 17 pages, 3 figures. Camera-ready version for EvalMG '26, The 2nd Workshop on Evaluation for Multimodal Generation, co-located with SIGIR 2026

💡 一句话要点

提出隐状态探测协议以评估多模态计算代理中的间接提示注入问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 隐状态探测 间接提示注入 多模态计算 恶意内容检测 评估协议 后验诊断 视觉-语言模型

📋 核心要点

  1. 现有方法在高AUC值的情况下，无法有效证明恶意内容的检测能力，存在误判风险。
  2. 论文提出了隐状态探测的候选评估协议，结合后验诊断方法来分析间接提示注入的影响。
  3. 通过案例研究，展示了高AUC值的局限性，并提出了新的标签定义和控制集，增强了评估的准确性。

📝 摘要（中文）

隐状态探测作为一种线性分类器，利用冻结的视觉-语言模型内部激活值，成为检测多模态计算代理中间接提示注入（IPI）的有效工具。本文通过对单一骨干网络的案例研究，指出高AUC值并不能单独证明恶意内容的检测有效性。我们提出了两种后验诊断方法，并将其打包为候选控制集，以指导高AUC值的解读，强调标签的定义为注入表面存在，而非攻击成功，且超出该骨干网络和基准的推广仍为未知。

🔬 方法详解

问题定义：本文旨在解决高AUC值无法有效证明恶意内容检测的问题，现有方法在清洁与攻击分割上存在误判的风险。

核心思路：通过引入后验诊断方法，结合隐状态探测，提供更全面的评估框架，以便更准确地识别间接提示注入的影响。

技术框架：整体架构包括隐状态探测模块、后验诊断模块和候选控制集，分别负责不同的评估任务，确保全面性和准确性。

关键创新：提出了将后验诊断与隐状态探测结合的评估协议，强调了高AUC值的解读限制，提供了更为严谨的评估标准。

关键设计：在参数设置上，采用了配对构造的标量基线和视觉控制，确保了实验的有效性和可重复性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，尽管隐状态探测在清洁与攻击分割上获得了高达0.998的AUC值，但通过后验诊断方法的引入，揭示了其在恶意内容检测中的局限性，强调了对高AUC值的谨慎解读。

🎯 应用场景

该研究的潜在应用领域包括多模态人工智能系统的安全性评估和恶意内容检测，能够为开发更可靠的计算代理提供理论支持和实践指导，未来可能在智能助手和自动化系统中发挥重要作用。

📄 摘要（原文）

Hidden-state probing -- a linear classifier on a frozen vision-language model's internal activations -- has emerged as an attractive evaluation tool for flagging indirect prompt injection (IPI) in multimodal computer-use agents before the agent emits a corrupted action. We argue, on a single-backbone cautionary case study (Qwen2.5-VL-7B on Mind2Web, teacher-forced replay), that a high probing AUC on a clean-vs-attack split is not, on its own, evidence of malicious-content detection. Two post-hoc diagnostics -- a paired-construction scalar baseline on text-side injections, and same-step nuisance-matched visual controls on the overlay surface -- do not license an unqualified malicious-content interpretation of the headline while leaving room for partly-semantic readings. We package the diagnostics as a candidate control set with reporting heuristics for what a high clean-vs-attack AUC does and does not license. Labels are injection-surface-present, not attack success; generalisation beyond this backbone and benchmark is a conjecture.