FeatureArc: Benchmarking Coding Agents on Evolving Features
作者: Yunlong Wang, Alyssa Wu, Cuiyun Gao, Jia Feng, Songyuanyi Lu, Zhichao Hu
分类: cs.SE, cs.AI
发布日期: 2026-10-27
备注: 12 pages, 8 figures, 4 tables
💡 一句话要点
提出FeatureArc以评估编码代理在特征演变中的表现
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 特征演变 编码代理 自动化测试 软件开发 基准测试
📋 核心要点
- 现有特征基准测试主要评估固定代码库上的单一请求，无法有效应对特征演变带来的挑战。
- 论文提出FeatureArc，通过构建任务管道来评估编码代理在演变特征上的表现，结合了多种编程语言的可执行检查。
- 实验结果显示，编码代理在特征演变中的成功率显著下降，第一阶段成功率为62.7%，而最终代码的整体成功率仅为28.5%。
📝 摘要（中文）
软件特征通常会随着时间演变，开发者在新用例和需求出现时扩展其初始版本。现有特征基准测试通常在固定代码库上评估单一请求，无法有效评估特征演变。本文提出FeatureArc，旨在通过构建任务管道来评估编码代理在演变特征上的表现。该基准结合了特征各阶段之间的依赖关系、明确的需求和接口契约，以及四种编程语言的可执行检查。实验评估了10个编码代理在73个手动审核的任务上的表现，结果显示在整个特征测试中成功率显著下降，揭示了当前编码代理在特征自主演变中的挑战。
🔬 方法详解
问题定义：本文旨在解决现有特征基准测试无法有效评估编码代理在特征演变过程中的表现这一问题。现有方法通常只关注固定代码库，无法处理特征的逐步演变和验证。
核心思路：FeatureArc通过构建任务管道，评估编码代理在特征演变中的表现，确保每个阶段的代码扩展都能保持正确性。该方法设计旨在捕捉特征演变中的依赖关系和需求变化。
技术框架：整体架构包括任务管道的构建、特征各阶段的依赖关系管理、明确的需求和接口契约，以及针对四种编程语言的可执行检查。每个阶段的测试包括对新行为的失败通过（F2P）测试和对现有行为的通过通过（P2P）测试。
关键创新：最重要的创新在于结合了特征演变的多阶段评估和自动化测试，特别是针对编码代理在演变过程中的表现进行系统性分析，这与现有方法的单一请求评估形成鲜明对比。
关键设计：在实验中，编码代理在一个持久的会话和工作空间中运行，未使用外部测试反馈或回滚机制。关键参数设置包括任务的手动审核和多阶段的成功率评估，确保了评估的全面性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，编码代理在特征演变中的成功率显著下降，第一阶段成功率为62.7%，而在最终代码的整体成功率仅为28.5%。此外，72.9%的失败阶段存在继承缺陷，表明早期错误未被检测的情况高达95%。
🎯 应用场景
该研究的潜在应用领域包括软件开发、自动化测试和智能编程助手等。通过有效评估编码代理在特征演变中的表现，FeatureArc可以为开发者提供更可靠的工具，提升软件开发的效率和质量，未来可能推动智能编程技术的进一步发展。
📄 摘要（原文）
A software feature usually evolves over time: developers extend its first version as new use cases and requirements arrive, and each extension builds on code written earlier. Most feature benchmarks evaluate a single request on a fixed codebase. Feature evolution requires evaluating successive extensions on an agent's own earlier code and checking whether the feature remains correct. We introduce FeatureArc to evaluate coding agents on evolving features, together with a pipeline that constructs its tasks from repository histories. The benchmark combines dependencies between successive stages of the same feature, explicit requirements and interface contracts, and executable checks across four programming languages. The pipeline validates fail-to-pass (F2P) tests for new behavior and pass-to-pass (P2P) tests for existing behavior on the reference code before and after each stage. We evaluated 10 coding agents on 73 manually reviewed tasks of 2 to 10 stages. Each agent works in one persistent session and workspace without external test feedback or rollback. The evaluation reveals a gap between first-stage and whole-feature success: pooled success falls from 62.7% at the first stage to 28.5% when the whole feature is tested on the final code. Trajectory analysis identifies inherited defects as a common failure mechanism, present in 72.9% of failed later stages. These earlier errors often remain undetected: in stages following a failure, agents leave the earlier error unnoticed about 95% of the time, and their self-tests rarely revisit earlier stages. Evolving a feature autonomously, without human checks between stages, therefore remains a substantial challenge for current coding agents. At Tencent, the pipeline extends internal evaluations to this setting and guides the development of Hunyuan, Tencent's family of large language models.