LatentTriad: Pre-Action Risk Representations for Malicious Agent Skill Detection

📄 arXiv: 2611.05088v1 📥 PDF

作者: Zhe Yu, Yi Liu, Ying Zhang, Simin Chen

分类: cs.AI

发布日期: 2026-11-03

备注: Preprint. Under review. 44 pages, 16 figures, 37 tables. 9 pages of main text


💡 一句话要点

提出LatentTriad以解决恶意代理技能检测中的风险问题

🎯 匹配领域: 支柱九:具身大模型 (Embodied Foundation Models)

关键词: 恶意技能检测 上下文风险 大型语言模型 无执行检测 技能筛选 动态分析 隐藏状态

📋 核心要点

  1. 现有方法在检测恶意代理技能时,主要依赖于模式匹配,无法有效识别上下文风险。
  2. LatentTriad通过结合上下文边界特征和操作方向,提出了一种无执行的风险检测方法。
  3. 在5830个技能包的实验中,LatentTriad实现了99.0-99.2%的F1值,显示出显著的性能提升。

📝 摘要(中文)

随着大型语言模型代理的技能可重用性不断提升,如何检测不可信技能内容引发的上下文风险成为一大挑战。现有方法主要依赖于可疑模式匹配,而动态分析则需执行技能,成本较高。研究发现,预填充过程中形成的隐藏状态包含任务操作一致性的可读信息。基于此,本文提出LatentTriad,结合上下文边界特征、群体调整的操作方向及偏离良性状态关系的特征,实现了无执行的技能筛选。实验结果表明,LatentTriad在5830个技能包上达到了99.0-99.2%的F1值,且检测过程的中位时间为259-284毫秒。

🔬 方法详解

问题定义:本文旨在解决恶意代理技能检测中的上下文风险问题。现有方法多依赖于模式匹配,无法有效捕捉潜在风险,且动态分析需执行技能,成本高昂。

核心思路:LatentTriad的核心思路是利用预填充阶段生成的隐藏状态,提取任务操作一致性的可读信息,从而实现无执行的风险检测。通过结合上下文边界特征和操作方向,增强了检测的准确性。

技术框架:LatentTriad的整体架构包括三个主要模块:上下文边界特征提取、群体调整的操作方向分析和良性状态关系的偏离检测。所有模块共享一个预填充过程,确保检测过程不生成输出令牌、调用工具或执行技能代码。

关键创新:LatentTriad的最大创新在于其无执行的检测机制,通过分析隐藏状态中的信息,避免了动态分析的高成本。这一方法与传统的模式匹配方法本质上不同,提供了更为灵活和高效的检测手段。

关键设计:在设计上,LatentTriad采用了特定的损失函数来优化边界特征和操作方向的匹配度,同时在网络结构上进行了调整,以适应多样化的技能包输入。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LatentTriad在5830个技能包的检测中实现了99.0-99.2%的F1值,显示出其在恶意技能检测中的卓越性能。此外,检测过程的中位时间为259-284毫秒,表明该方法在效率上也具有显著优势。

🎯 应用场景

该研究的潜在应用领域包括安全性较高的自动化系统、智能助手及其他依赖于技能的代理系统。通过有效检测恶意技能,LatentTriad能够提高系统的安全性和可靠性,减少潜在的风险和损失。未来,该方法可能在更广泛的领域中得到应用,推动智能代理技术的健康发展。

📄 摘要(原文)

Large language model agents are increasingly extended with reusable skills, but untrusted skill content can induce operations outside the user's task. Detecting this contextual risk requires more than suspicious-pattern matching, while dynamic analysis incurs the cost of skill execution. We find that hidden states formed during prefill contain readable information about task-operation consistency, including across held-out expression forms in controlled evaluations. Matched Operation-state interventions also affect later Boundary states and shift fixed risk readouts toward the donor label. Based on these findings, we introduce LatentTriad, which combines contextual Boundary features, group-adjusted Operation directions, and departures from benign state relationships. All branches share one prefill: detection generates no output tokens, invokes no tools, and executes no skill code. Across 5,830 skill packages from five sources and seven backbones, LatentTriad achieves 99.0-99.2% pooled F1 and 93.0-94.6% source-macro F1. A separately measured compact implementation completes prefill and detection in a median of 259-284 ms. These results connect pre-action risk readability and functional influence to execution-free skill screening.