What Standard Evaluations Hide About Detectors of Hijacked LLM Agents: Rare Attacks, Unseen Tools and Benchmark Transfer

📄 arXiv: 2610.41803v1 📥 PDF

作者: Mahmoud Abbasi, Juan M. Núñez V., Amin Shahraki

分类: cs.CR, cs.LG

发布日期: 2026-10-30

备注: 14 pages, 4 figures, 6 tables. Code, data and every monitor call: https://github.com/Mahmoud-Abbasi-svg/agent-trace-detector-eval

💡 一句话要点

提出新评估方法以揭示劫持LLM代理检测器的隐性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 劫持检测 大型语言模型 工具调用 评估方法 网络安全 迁移学习 稀有攻击

📋 核心要点

  1. 现有的评估方法未能全面反映检测器在真实场景中的表现，尤其是在面对未见过的工具时的能力。
  2. 论文提出了一种新的评估框架，通过在不同基准上测试检测器，揭示其在处理未见工具和稀有攻击时的局限性。
  3. 实验结果显示，现有检测器在不同基准间的迁移能力差，且在低攻击率下的精度普遍较低，强调了评估方法的必要性。

📝 摘要（中文）

本研究探讨了检测劫持大型语言模型（LLM）代理的工具调用痕迹的有效性。通过审计的十一项评估中，攻击或异常样本占比在16%到86%之间，且没有评估改变这一比例。我们在AgentDrift和AgentDojo基准上测试了多种检测器，结果显示在2%的攻击率下，某检测器的AUROC为0.879，但精度仅为0.076。随着工具覆盖率的降低，检测器的排名表现显著下降。最终，我们提出了一份评估痕迹检测器的检查清单，以帮助识别现有评估中的不足之处。

🔬 方法详解

问题定义：本研究旨在揭示现有检测器在评估劫持LLM代理时的不足，尤其是对稀有攻击和未见工具的检测能力。现有方法在不同基准上的迁移能力较差，导致评估结果不够全面。

核心思路：论文通过在AgentDrift和AgentDojo基准上测试多种检测器，分析其对工具调用的识别能力，提出了一种新的评估方法，以更准确地反映检测器的实际性能。

技术框架：整体架构包括多个模块：首先是数据收集和预处理，其次是训练不同的检测器，最后在多个基准上进行评估，重点关注工具调用的识别和攻击检测的精度。

关键创新：最重要的创新在于提出了一种新的评估标准，强调了工具覆盖率对检测器性能的影响，并通过实验证明了现有检测器在不同基准间的迁移能力不足。

关键设计：在实验中，设置了不同的阈值和决策规则，使用了AUROC作为主要评估指标，并对工具输入进行了dropout处理，以减少模型在未见工具上的性能下降。实验还考察了不同训练数据对检测器精度的影响。

📊 实验亮点

实验结果显示，在2%的攻击率下，某检测器的AUROC达到了0.879，但精度仅为0.076，表明在低攻击率下检测器的表现不佳。此外，随着工具覆盖率的降低，检测器的排名表现显著下降，强调了评估方法的重要性。

🎯 应用场景

该研究的潜在应用领域包括网络安全、恶意软件检测和自动化监控系统。通过改进检测器的评估方法，可以提高对劫持LLM代理的检测能力，从而增强系统的安全性和可靠性。未来，该方法可能会影响相关领域的标准评估流程，推动更高效的检测技术发展。

📄 摘要（原文）

Detectors can flag hijacked large language model (LLM) agents from the traces of the tools they call. In the eleven evaluations we audited, attacks or anomalies make up 16% to 86% of the test samples, no evaluation varies that share, and six report no test on data from a second benchmark or source. We ask what such evaluations hide. On the AgentDrift and AgentDojo benchmarks we test trained detectors that read tool identities, behavior, call sequences, step embeddings or text, and a released LLM action monitor, AlignmentCheck, with thresholds fixed on training data or set by the monitor's released decision rule. First, at a 2% attack rate a detector with an area under the receiver operating characteristic curve (AUROC) of 0.879 reaches a precision of 0.076, and the mix of negatives alone moves that precision between 0.039 and 0.117. Second, as tool coverage, the share of test tool calls whose tool was seen in training, falls, detector rankings cross near 50% coverage and reverse below it, because unseen tools map to inputs that training never reached. Dropout on tool inputs largely removes the reversal. Third, no detector trained on AgentDrift ranks AgentDojo traces better than chance (AUROC 0.47 to 0.52), including one that reaches 0.996 within AgentDojo. The monitor, trained on neither, reaches 0.930, but with its open backbone its released decision rule would still mostly raise false alerts at a 2% attack rate (precision 0.096). We turn these findings into a checklist for evaluating trace detectors.