XAI for Coding Agent Failures: Transforming Raw Execution Traces into Actionable Insights
作者: Arun Joshi
分类: cs.SE, cs.AI
发布日期: 2026-03-06
备注: 17 Pages, 3 Figures, 2 Tables
💡 一句话要点
提出一种针对代码Agent失败的XAI方法，将原始执行轨迹转化为可操作的洞察
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 可解释AI 代码Agent 失败分析 软件开发 大型语言模型
📋 核心要点
- 现有基于LLM的代码Agent在软件开发中频繁失败，但其执行轨迹难以理解和调试，阻碍了问题的有效解决。
- 提出一种XAI方法，通过领域特定分类、自动标注和混合解释生成，将原始执行轨迹转化为结构化、可解释的解释。
- 实验表明，该方法能显著提升用户识别失败根因的速度和修复准确率，优于原始执行轨迹和现有临时解释方法。
📝 摘要（中文）
基于大型语言模型(LLM)的代码Agent在自动化软件开发任务中展现出潜力，但它们经常出现难以理解和调试的失败。尽管像GPT这样的通用LLM可以提供临时的失败解释，但即使对于经验丰富的开发人员来说，原始执行轨迹仍然难以解释。本文提出了一种系统的可解释AI(XAI)方法，将原始Agent执行轨迹转化为结构化的、人类可解释的解释。该方法包含三个关键组成部分：(1)从分析实际Agent失败中得出的领域特定失败分类法，(2)使用定义的注释模式自动分类失败的自动注释系统，(3)生成可视化执行流程、自然语言解释和可操作建议的混合解释生成器。通过对20名参与者(10名技术人员，10名非技术人员)的用户研究，证明该方法使用户能够以比原始执行轨迹快2.8倍的速度识别失败根本原因，并以高73%的准确率提出正确的修复方案。重要的是，该结构化方法优于最先进的临时模型解释，提供了具有集成可视化的持续、领域特定的洞察。该工作建立了一个用于系统Agent失败分析的框架，解决了软件开发工作流程中对可解释AI系统的关键需求。
🔬 方法详解
问题定义：论文旨在解决基于LLM的代码Agent在软件开发过程中出现的失败难以理解和调试的问题。现有方法，如直接查看原始执行轨迹或使用通用LLM进行临时解释，对于开发人员来说效率低下且不够准确，难以快速定位问题根源并提出有效修复方案。
核心思路：论文的核心思路是将原始的、难以理解的Agent执行轨迹转化为结构化的、人类可解释的解释。通过构建领域特定的失败分类体系，并结合自动标注和混合解释生成技术，提供更清晰、更具操作性的失败分析结果。这种结构化的解释能够帮助开发人员更快地理解失败原因，并提出更准确的修复建议。
技术框架：该方法包含三个主要模块：1) 领域特定失败分类法：通过分析实际Agent失败案例，构建一个针对代码Agent的失败类型分类体系。2) 自动标注系统：利用该分类体系，自动对Agent执行轨迹中的失败进行标注和分类。3) 混合解释生成器：结合可视化执行流程、自然语言解释和可操作建议，生成易于理解和使用的解释报告。整体流程是从原始执行轨迹开始，经过自动标注和分类，最终生成结构化的解释报告。
关键创新：该方法最重要的创新在于其系统化的XAI框架，它将领域知识、自动标注和混合解释生成相结合，为代码Agent的失败分析提供了一种结构化和可解释的解决方案。与现有方法相比，该方法能够提供更一致、更准确、更具操作性的解释，从而显著提升开发人员的调试效率。
关键设计：论文中关键的设计包括：领域特定失败分类法的构建，需要深入分析实际Agent失败案例，并提炼出具有代表性的失败类型；自动标注系统的设计，需要选择合适的机器学习模型和特征，以实现对失败类型的准确分类；混合解释生成器的设计，需要考虑如何将可视化执行流程、自然语言解释和可操作建议有效地结合起来，以提供最清晰和最有用的解释报告。具体的参数设置、损失函数和网络结构等技术细节在论文中可能有所涉及，但摘要中未明确提及。
🖼️ 关键图片
📊 实验亮点
用户研究表明，与原始执行轨迹相比，该方法能够使用户以快2.8倍的速度识别失败根源，并以高73%的准确率提出正确的修复方案。此外，该结构化方法优于最先进的临时模型解释，提供了具有集成可视化的持续、领域特定的洞察。
🎯 应用场景
该研究成果可应用于各种软件开发场景，特别是涉及使用LLM驱动的自动化代码生成和调试的场景。它可以帮助开发人员更快地理解和修复代码Agent的失败，提高软件开发的效率和质量。未来，该方法可以扩展到其他类型的AI Agent，并与其他软件开发工具集成，构建更智能化的开发环境。
📄 摘要（原文）
Large Language Model (LLM)-based coding agents show promise in automating software development tasks, yet they frequently fail in ways that are difficult for developers to understand and debug. While general-purpose LLMs like GPT can provide ad-hoc explanations of failures, raw execution traces remain challenging to interpret even for experienced developers. We present a systematic explainable AI (XAI) approach that transforms raw agent execution traces into structured, human-interpretable explanations. Our method consists of three key components: (1) a domain-specific failure taxonomy derived from analyzing real agent failures, (2) an automatic annotation system that classifies failures using defined annotation schema, (3) a hybrid explanation generator that produces visual execution flows, natural language explanations, and actionable recommendations. Through a user study with 20 participants (10 technical, 10 non-technical), we demonstrate that our approach enables users to identify failure root causes 2.8 times faster and propose correct fixes with 73% higher accuracy compared to raw execution traces. Importantly, our structured approach outperforms ad-hoc state of the art models explanations by providing consistent, domain-specific insights with integrated visualizations. Our work establishes a framework for systematic agent failure analysis, addressing the critical need for interpretable AI systems in software development workflows