Coding Agents as Test-Suite Auditors: Finding What Official Suites Miss While Approaching What They Catch
作者: Shuyang Xie, Shuxiao Xie, Feng Zhu, Yanli Ji, Wangmeng Zuo
分类: cs.SE, cs.AI
发布日期: 2026-08-03
备注: 24 pages, 4 figures
💡 一句话要点
提出编码代理作为测试套件审计工具以解决官方套件遗漏问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 编码代理 测试套件 审计工具 在线评测 缺陷识别 认证链 编程竞赛
📋 核心要点
- 现有的在线评测系统存在接受有缺陷代码的风险，导致评估结果不准确。
- 论文提出使用编码代理作为测试套件审计工具，构建对抗性测试套件并进行认证。
- 实验结果显示，五个代理在逻辑缺陷的覆盖率上与官方套件相近，并能识别大量有缺陷的提交。
📝 摘要（中文）
在线评测系统的判决和基于其构建的数据集被视为评估和训练大型语言模型的基准。然而，先前的审计警告官方套件接受了有缺陷的提交，但未提供实际解决方案。本文提出了一种双重解决方案：使用现成的编码代理作为测试套件审计工具，构建对抗性测试套件以揭示官方套件的遗漏，并在缺乏官方套件的情况下提供这些套件。同时，建立了一个认证链，确保每个代理标记的提交是否真正存在缺陷。通过该方法，识别出589个在AtCoder上被验证为有缺陷的接受提交，扩展到五个代理后总计906个。五个代理在逻辑缺陷的覆盖率上与官方套件相差不超过1.7个百分点。
🔬 方法详解
问题定义：本文旨在解决在线评测系统中官方测试套件遗漏有缺陷代码的问题。现有方法未能有效识别所有有缺陷的提交，导致评估不准确。
核心思路：通过引入编码代理作为审计工具，构建对抗性测试套件以揭示官方套件的不足，并在缺乏官方套件的情况下提供新的测试套件。
技术框架：整体架构包括两个主要模块：一是编码代理构建对抗性测试套件，二是认证链确保每个标记的提交是否真正存在缺陷。认证链通过多个独立的接受解决方案达成一致，使用暴力解决方案解决争议，并通过每个问题的验证器认证每个失败输入的合法性。
关键创新：最重要的技术创新在于引入了编码代理作为审计工具，并建立了认证链，确保了标记提交的准确性。这一方法与传统方法的本质区别在于不再完全依赖官方评测系统的结果。
关键设计：在设计中，代理的构建和测试套件的生成采用了对抗性策略，认证链的设计确保了多方一致性，且每个问题的验证器负责验证输入的合法性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，五个编码代理在逻辑缺陷的覆盖率上与官方套件相差不超过1.7个百分点，且在AtCoder的20,375个接受提交中识别出589个有缺陷的提交，扩展后总计906个。这表明该方法在识别有缺陷代码方面具有显著优势。
🎯 应用场景
该研究的潜在应用领域包括在线编程竞赛、教育平台和代码审查工具。通过提高测试套件的准确性，可以有效提升代码评估的质量，减少错误提交的影响，进而提高学习和评估的有效性。未来，该方法还可扩展到其他编程语言和评测系统中。
📄 摘要（原文）
Online-judge verdicts and the datasets and benchmarks built on them are treated as ground truth for evaluating and training large language models for code. Yet prior audits have sounded a warning: official suites accept buggy submissions. These audits, however, stop at the warning and offer no practical remedy. Our remedy has two parts: an off-the-shelf coding agent, serving as a test-suite auditor, both builds adversarial test suites to expose what official suites miss and supplies these suites where no official suite exists; a certification chain determines whether each agent-flagged submission is genuinely buggy without relying on the official judge: multiple independently written accepted solutions agree on the expected output for every test, brute-force solutions settle disagreements, and a per-problem validator certifies each failing input legal. One such agent identifies 589 verified accepted-but-buggy submissions among AtCoder's 20,375 audited accepted submissions; extending the same certification to all five agents yields a union floor of 906 such submissions. Five agents, scored separately, each stay within 1.7pp of official-suite coverage on logic bugs those suites catch. On post-cutoff Codeforces problems with no available official suites, the same test-building method leads all five reproduced baselines at every tested input budget. Where an official suite exists, the agent audits suite adequacy instead of assuming it; where none exists, agent suites catch the most buggy submissions among methods we reproduced and tested.