Well-Specified and Well-Tested? Assessing SWE-bench-Style Datasets with a Self-Evolving Agent

📄 arXiv: 2610.39417v1 📥 PDF

作者: Zhonghao Jiang, Xuyang Zheng, Yanfu Yan, Zhongxin Liu, Lingfeng Bao, Shuiguang Deng

分类: cs.SE, cs.AI, cs.CL

发布日期: 2026-10-29

💡 一句话要点

提出ExLabel以解决SWE数据集质量评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 软件工程 数据集评估 自我进化 经验指导 任务清晰度 测试覆盖率

📋 核心要点

  1. 现有SWE数据集存在质量问题，手动标注成本高且难以处理多样化场景，导致高假阳性率。
  2. 本文提出ExLabel，利用LLM进行自我进化的经验指导，评估SWE数据集的任务清晰度和测试覆盖率。
  3. 实验表明，ExLabel在Python和多语言子集上相较于最佳基线在任务清晰度和测试覆盖率评估上分别提升了44.2%和24.0%。

📝 摘要（中文）

大型语言模型（LLMs）在软件工程任务中表现出色，推动了高质量数据集的需求，以确保可靠的训练和评估。SWE-bench风格数据集广泛用于评估基于LLM的编码代理，但现有数据集存在质量问题，手动标注成本高且劳动密集。为此，本文提出ExLabel，一个基于LLM的自我进化、经验指导的助手，用于评估SWE数据集中的任务清晰度和测试覆盖率。ExLabel维护一个不断发展的经验库，将跨实例知识提炼为稳定而适应的判断标准，并利用相关经验指导新实例的评估。通过构建新的基准SWE-TQ，实验结果显示ExLabel在所有设置中均实现最佳F1值，显著提升了任务清晰度和测试覆盖率的评估效果。

🔬 方法详解

问题定义：本文旨在解决现有SWE数据集在任务清晰度和测试覆盖率评估中的质量问题。现有方法通常依赖静态、过于一般化的评分标准，难以处理复杂场景，导致高假阳性率。

核心思路：ExLabel通过构建一个自我进化的经验库，提炼跨实例的知识，形成稳定而适应的评估标准，从而提高任务清晰度和测试覆盖率的评估质量。

技术框架：ExLabel的整体架构包括经验库的维护、实例评估的指导和反馈机制。经验库不断更新，确保评估标准的适应性和准确性。

关键创新：ExLabel的主要创新在于其自我进化的能力，通过经验指导评估过程，克服了传统方法的局限性，使得评估更加灵活和准确。

关键设计：在设计上，ExLabel采用了动态更新的经验库，结合上下文信息进行判断，确保评估标准能够适应不同的编程语言和任务类型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ExLabel在所有设置中均实现最佳F1值，Python和多语言子集的任务清晰度和测试覆盖率评估分别提升了44.2%和24.0%。此外，基于ExLabel过滤的SWE-rebench数据微调的编码模型在SWE-bench Verified上解决了66.2%的问题，超越了最佳基线模型14.5%。

🎯 应用场景

该研究的潜在应用领域包括软件开发、自动化测试和编程教育等。通过提高SWE数据集的质量，ExLabel能够为LLM在软件工程中的应用提供更可靠的基础，促进智能编程助手的发展，提升开发效率和代码质量。

📄 摘要（原文）

Large language models (LLMs) have shown strong performance on software engineering (SE) tasks, driving the need for high-quality datasets for reliable training and evaluation. SWE-bench-style datasets (SWE datasets) are widely used to evaluate LLM-based coding agents on real-world software issues, where task clarity and test coverage directly affect whether instances are solvable and verifiable. However, quality issues persist in existing SWE datasets, and manual annotation is costly and labor-intensive, motivating LLM-based annotation. Existing approaches typically rely on static, overly general rubrics, limiting their ability to handle diverse and nuanced scenarios and often yielding high false positive rates. In contrast, human annotators draw on accumulated experience to make context-aware judgments. Inspired by this, we propose ExLabel, an LLM-based, self-evolving, experience-guided assistant for task clarity and test coverage assessment in SWE datasets. ExLabel maintains an evolving experience bank that distills cross-instance knowledge into stable yet adaptive judgment criteria and reuses relevant experience to guide the assessment of new instances. For systematic evaluation, we construct SWE-TQ, a new benchmark spanning eight programming languages, by cleaning human annotations from SWE-bench and Multi-SWE-bench. Experiments with three backbone LLMs show that ExLabel achieves the best F1 across all settings, with relative improvements of 44.2%/49.9% and 24.0%/18.4% over the best baseline for task clarity and test coverage assessment on the Python/Multilingual subsets, respectively. Moreover, a coding model fine-tuned on SWE-rebench data filtered by ExLabel resolves 66.2% of issues on SWE-bench Verified, outperforming the model trained on data filtered by the best baseline by 14.5%.