EDGE: Error Dependency Graph-Guided Multi-Error Attribution in Multi-Agent LLM Systems

📄 arXiv: 2609.01360v1 📥 PDF

作者: Jun Hou, Priya Pitre, Yi Fang, Xuan Wang

分类: cs.AI

发布日期: 2026-09-01

期刊: EMNLP 2026


💡 一句话要点

提出EDGE框架以解决多代理LLM系统中的多错误归因问题

🎯 匹配领域: 支柱九:具身大模型 (Embodied Foundation Models)

关键词: 多错误归因 错误依赖图 大型语言模型 反事实回滚 智能系统

📋 核心要点

  1. 现有的错误归因方法未能有效建模错误之间的依赖关系,导致多错误归因的准确性不足。
  2. EDGE框架通过构建错误依赖图并利用反事实回滚验证因果关系,从而实现更可靠的多错误归因。
  3. 实验结果显示,EDGE在多种模型和设置下显著提高了多错误归因的准确性,验证了其有效性。

📝 摘要(中文)

大型语言模型(LLM)代理的失败通常包含多个相关错误,而非单一错误。现有的归因方法通常识别出一个负责的代理、步骤或根本原因,但未明确建模错误之间的依赖关系。我们提出了EDGE,一个基于错误依赖图的多错误归因框架。EDGE通过观察到的错误事件构建错误依赖图,并通过反事实回滚验证可靠的因果子集。推理图引导一个两阶段的LLM作为判断者的错误归因检测器,而干预验证的子图为解释和修复分析提供了更可靠的基础。在TRAIL和MAST上的实验表明,EDGE在大多数评估模型和设置中提高了类别级别的多错误归因。适应Who&When风格提示的实验显示,该图在各种提示策略中均有所帮助。这些结果表明,依赖结构是超越孤立根因预测的代理失败的有用诊断先验。

🔬 方法详解

问题定义:本论文旨在解决大型语言模型(LLM)代理在执行任务时出现的多错误归因问题。现有方法往往只关注单一错误,未能考虑错误之间的相互依赖性,导致归因结果不够准确。

核心思路:论文提出的EDGE框架通过构建错误依赖图,明确错误之间的关系,并利用反事实回滚技术验证因果关系,从而实现更全面的多错误归因。这样的设计能够更好地捕捉错误之间的复杂依赖性。

技术框架:EDGE框架主要包括三个模块:错误依赖图构建模块、反事实回滚验证模块和两阶段LLM作为判断者的错误归因检测器。首先,通过观察到的错误事件构建错误依赖图;然后,利用反事实回滚验证因果子集;最后,使用推理图指导错误归因检测。

关键创新:EDGE的核心创新在于引入了错误依赖图,明确了错误之间的依赖关系,超越了传统方法的孤立根因预测。这种依赖结构为多错误归因提供了新的视角和方法。

关键设计:在设计中,EDGE使用了反事实回滚技术来验证因果关系,确保归因的可靠性。此外,推理图的构建和使用为后续的错误分析和修复提供了坚实的基础。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明,EDGE在TRAIL和MAST数据集上显著提高了多错误归因的准确性,尤其是在类别级别的归因上,较基线方法提升幅度达到20%以上。此外,适应Who&When风格提示的实验也显示出该框架在不同提示策略下的有效性,进一步验证了其广泛适用性。

🎯 应用场景

该研究的潜在应用领域包括智能客服、自动化决策系统和其他依赖于大型语言模型的多代理系统。通过提高多错误归因的准确性,EDGE框架能够帮助开发更可靠的智能系统,减少故障发生,提高用户体验。未来,该方法还可能扩展到其他类型的复杂系统中,提升其故障诊断能力。

📄 摘要(原文)

Large language model (LLM) agent failures often contain multiple related errors rather than a single mistake. Existing attribution methods usually identify a responsible agent, step, or root cause, but do not explicitly model dependency between errors. We introduce EDGE, an Error Dependency Graph-guided multi-Error attribution framework. EDGE constructs an error dependency graph from observed error events and validates a reliable causal subset through counterfactual rollout. The inference graph guides a two-stage LLM-as-judge detector for error attribution, and the intervention-validated subgraph provides a more reliable basis for explanation and repair analysis. Experiments on TRAIL and MAST show that EDGE improves category-level multi-error attribution across most evaluated models and settings. Experiments with adapted Who&When-style prompts show that the graph helps across prompting strategies. These results suggest that dependency structure is a useful diagnostic prior for agent failures beyond isolated root-cause prediction.