What Process Evaluation of Coding Agents Actually Measures: Action, Task, and Step Are Three Different Levels
作者: Jiawei He, Mengyu Shi, Jie jia, Xikai Yang, Dong Sun
分类: cs.AI
发布日期: 2026-08-24
备注: 38 pages, 8 figures
💡 一句话要点
提出过程评估框架以区分编码代理的行动、任务和步骤
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 编码代理 过程评估 因果归因 重放估计 智能编程
📋 核心要点
- 现有的编码代理过程评估方法未能有效区分行动、任务和步骤，导致评估结果模糊不清。
- 本文提出了一种新的测量框架，利用重放估计器SCAE实现步骤级因果归因，明确评估内容。
- 在499个文件定位实验中，发现下一步行动主要受执行来源影响，执行不确定性在任务层面结构化。
📝 摘要（中文）
随着编码代理的评估不仅限于任务解决，还包括执行方式，现有的过程级评估常常将行动预测、任务不确定性和步骤归因混为一谈，导致评估内容不明确。本文提出了一种编码代理过程评估的测量框架，并通过基于重放的估计器SCAE实现步骤级因果归因。该框架结合了前缀条件识别、重放/干预估计和控制评判信息操控，研究行动、任务和步骤三个层面的过程评估。实验结果表明，下一步行动主要受执行来源驱动，而非代码图转移，执行不确定性在任务层面而非步骤层面结构化，完整追踪评判者存在系统性碰撞偏差，表明当前过程评估常常测量语义相关性而非认证因果贡献。
🔬 方法详解
问题定义：本文旨在解决现有编码代理过程评估方法将不同层次的评估混淆的问题，导致评估结果不明确，无法有效反映代理的真实表现。
核心思路：提出了一种新的测量框架，通过引入步骤级因果归因的概念，利用重放估计器SCAE来区分行动、任务和步骤的评估，确保评估的准确性和有效性。
技术框架：整体架构包括前缀条件识别、重放/干预估计和控制评判信息操控三个主要模块，分别用于识别和估计不同层面的过程评估。
关键创新：最重要的创新在于引入了步骤级因果归因的概念，并通过SCAE实现了这一点，与现有方法相比，能够更准确地反映编码代理的执行过程。
关键设计：在参数设置上，采用了基于结构因果模型的重放估计方法，损失函数设计上注重因果关系的准确性，网络结构则结合了前缀条件和干预机制，以提高评估的可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，下一步行动主要由执行来源驱动，而非代码图转移，执行不确定性在任务层面结构化，完整追踪评判者存在系统性碰撞偏差。这些发现表明，当前的过程评估方法往往测量的是语义相关性而非认证因果贡献，提示了评估方法改进的必要性。
🎯 应用场景
该研究的潜在应用领域包括智能编程助手、自动化测试和软件开发工具等。通过提供更准确的过程评估，能够帮助开发者更好地理解编码代理的执行过程，从而优化其性能和可靠性，未来可能对软件工程和人工智能领域产生深远影响。
📄 摘要（原文）
Coding agents are increasingly evaluated not only by whether they solve a task, but also by how they execute it. However, existing process-level evaluations often treat action prediction, task uncertainty, and step attribution as if they were the same problem, which makes it unclear what such evaluations actually measure. In this paper, we introduce a measurement framework for process evaluation in coding agents and instantiate step-level causal attribution with SCAE, a replay-based estimator derived from a structural causal model of agent execution. Our framework combines prefix-conditioned identification, replay/intervention-based estimation, and controlled judge-information manipulation to study process evaluation at the action, task, and step levels. Experiments on 499 file-localization episodes from 12 repositories show that next actions are driven primarily by execution provenance rather than code-graph transitions, execution uncertainty is structured at the task rather than step level, and full-trace judges exhibit systematic collider bias, suggesting that current process evaluation often measures semantic relevance rather than certified causal contribution.