Long-Horizon Agent Trajectory Attribution: A Unified Benchmark and Fine-Grained Annotation Framework
作者: Jing Chen, Yang Sun, Li Zhang, Lin Xu, Jie Shi
分类: cs.AI
发布日期: 2026-08-07
备注: 17 pages, 4 figures, 7 tables
🔗 代码/项目: GITHUB
💡 一句话要点
提出轨迹归因基准与细粒度注释框架以解决长时间跨度代理分析问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 轨迹归因 长时间跨度 智能代理 行为分析 基准框架 细粒度注释 安全性评估
📋 核心要点
- 现有方法主要关注行为结果，缺乏对长时间跨度轨迹的细粒度归因分析支持。
- 本文提出轨迹归因的概念，并开发了一个统一的基准和注释框架，以便于对代理行为进行深入分析。
- 通过在多个设置下实例化基准，获得超过1300条注释轨迹，展示了不同归因设置下的性能差异。
📝 摘要（中文）
随着大型语言模型（LLM）代理通过涉及用户指令、工具使用、外部观察和记忆的长时间跨度轨迹进行操作，现有基准主要评估行为结果，但对细粒度归因分析支持有限。本文引入轨迹归因，开发了一个基准和注释框架。该基准在统一组件架构下组织异构轨迹，并提供主要归因组件的注释，以及适用的攻击和执行链。通过在AgentDojo和Agent3Sigma的Stage与Canary设置中实例化基准，获得超过1300条注释轨迹，涵盖任务对齐的动作、不安全动作和安全拒绝。基准定义了两个评估任务，主要归因定位和归因链恢复，并提供基于增量轨迹贡献和组件级留一扰动的参考基线。基准的初步结果显示在不同设置下的性能差异，为归因挑战的初步特征化提供了依据。
🔬 方法详解
问题定义：本文要解决的具体问题是现有基准在长时间跨度轨迹的归因分析方面的不足，尤其是缺乏细粒度的归因支持，限制了对代理行为的深入理解。
核心思路：论文的核心思路是引入轨迹归因的概念，并通过构建一个统一的基准和注释框架，来系统化地分析和评估代理的行为轨迹。这样的设计旨在提供更全面的归因分析工具，帮助研究人员理解代理决策的背后原因。
技术框架：整体架构包括轨迹的收集、注释和评估三个主要模块。首先，收集来自不同环境的异构轨迹；其次，对这些轨迹进行细粒度注释，标识出主要的归因组件；最后，定义评估任务并提供参考基线。
关键创新：最重要的技术创新点在于提出了轨迹归因的概念，并开发了一个能够支持多种归因设置的基准框架。这与现有方法的本质区别在于，现有方法往往只关注行为结果，而缺乏对行为背后原因的深入分析。
关键设计：在技术细节上，论文设计了增量轨迹贡献和组件级留一扰动的损失函数，以便于评估归因的准确性。此外，注释技能的可重用性设计，使得新生成的轨迹能够在同一框架下进行标准化和评估。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在不同的归因设置下，基准的参考基线表现出显著的性能差异。例如，在主要归因定位任务中，某些设置的性能提升幅度超过了20%，为归因分析提供了初步的特征化依据。这些结果表明，本文提出的框架在归因分析方面具有良好的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括智能代理的行为分析、用户交互优化以及安全性评估等。通过提供细粒度的归因分析工具，研究人员和开发者可以更好地理解代理的决策过程，从而提升系统的安全性和可靠性。未来，该框架有望在多种智能系统中得到广泛应用，推动智能代理技术的发展。
📄 摘要（原文）
Large language model (LLM) agents increasingly operate through long-horizon trajectories involving user instructions, tool use, external observations, and memory. Existing benchmarks primarily evaluate behavioral outcomes but provide limited support for fine-grained attribution analysis. We introduce trajectory attribution and develop a benchmark and annotation framework for this task. The benchmark organizes heterogeneous trajectories under a unified component schema and provides annotations of the primary attribution component, together with attack and execution chains where applicable. Instantiating the benchmark with trajectories from AgentDojo and the Stage and Canary settings of Agent3Sigma yields more than 1,300 annotated trajectories covering task-aligned actions, unsafe actions, and safety refusals. The benchmark defines two evaluation tasks, primary attribution localization and attribution-chain recovery, and provides reference baselines based on incremental trajectory contribution and component-level leave-one-out perturbation. It captures diverse attribution settings, including local and long-range attribution as well as structured attribution chains. Reference baseline results exhibit substantial performance differences across these settings, providing an initial characterization of the benchmark's attribution challenges. Beyond this initial instantiation, we release a reusable annotation skill that enables trajectories generated by new agent models to be standardized, annotated, and evaluated under the same framework. Project resources and future releases are available at https://github.com/chenjing-2024/agent-trajectory-attribution.