RepoProbe: Benchmarking Architecture-Aware Repository Comprehension with Checklists
作者: Yuexi Yang, Alyssa Wu, Ji Luo, Richeng Xuan, Zhichao Hu, Yuhong Liu, Zhen Qin
分类: cs.SE, cs.AI
发布日期: 2026-08-05
💡 一句话要点
提出RepoProbe以解决现有代码理解基准的不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 代码理解 软件工程 基准评估 开放式问答 检查表验证 编辑偏差 技术正确性
📋 核心要点
- 现有基准主要依赖于错误报告，导致模型通过模式匹配规避真正的代码理解，低估了编辑偏差。
- 提出RepoProbe基准，通过开放式问答评估仓库级代码理解，采用基于检查表的验证协议以确保客观性。
- 评估结果显示，当前最先进的LLMs在技术正确性上存在差距，且验证协议显著提高了评估的可靠性。
📝 摘要（中文）
将大型语言模型（LLMs）整合到软件工程中，已将关注点从功能级生成转向了仓库级的辅助。然而，现有基准主要依赖于GitHub Issues中的错误报告，这使得模型常常通过对错误日志的模式匹配来规避真正的理解。这种不匹配导致了对编辑偏差的低估，即模型在未理解现有仓库架构的情况下，提前提出代码修改。本文提出RepoProbe，一个新的基准，用于通过开放式问答评估仓库级代码理解，重点关注开放式架构问题，而非缺陷报告。为确保评估的严格性，我们提出了一种基于检查表的验证协议，将答案分解为原子、可验证的事实，从而用客观验证替代主观评分。我们的评估显示，当前最先进的LLMs在清晰度与证据基础的技术正确性之间存在持续差距，同时定量确认了编辑偏差的普遍性，模型优先考虑代码生成而非架构分析。最后，我们证明了验证协议显著提高了评估的可靠性。
🔬 方法详解
问题定义：本文解决的是现有基准在评估代码理解时的不足，尤其是依赖错误报告导致的模型理解偏差和编辑偏差问题。
核心思路：提出RepoProbe基准，通过开放式问答的方式，聚焦于架构理解而非缺陷报告，确保模型在理解代码时不再依赖模式匹配。
技术框架：整体架构包括数据收集、问答生成、答案验证三个主要模块。数据收集从GitHub Discussions中提取开放式问题，问答生成则基于这些问题进行模型评估，最后通过检查表验证答案的准确性。
关键创新：最重要的创新在于引入了基于检查表的验证协议，将答案分解为可验证的原子事实，替代了传统的主观评分方式，从而提高了评估的客观性和可靠性。
关键设计：在设计中，确保了验证协议的严谨性，采用了量化指标来评估模型的技术正确性，并通过对比实验验证了新方法的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，RepoProbe显著提高了评估的可靠性，相较于传统的标量评分方法，验证协议的引入使得评估结果的方差降低，且在技术正确性上表现出更高的清晰度和证据基础。
🎯 应用场景
该研究的潜在应用领域包括软件开发、代码审查和自动化测试等。通过提高代码理解的准确性，RepoProbe能够帮助开发者更好地理解和维护大型代码库，提升软件工程的整体效率和质量。未来，该方法还可能扩展到其他领域，如智能合约分析和系统架构评估等。
📄 摘要（原文）
The integration of Large Language Models (LLMs) into software engineering has shifted the focus from function-level generation to repository-scale assistance. However, existing benchmarks largely rely on bug reports from GitHub Issues, which often allow models to bypass genuine understanding via pattern matching on error logs. This misalignment under-measures Edit Bias, which refers to premature generation, where models prematurely propose code modifications instead of understanding the existing repository architecture. Furthermore, current LLM-as-a-Judge scalar scoring suffers from high variance and low interpretability. This work introduces RepoProbe, a novel benchmark for evaluating repository-level code understanding through open-ended Q&A using GitHub Discussions, which focuses on open-ended architectural inquiries rather than defect reporting. To ensure rigorous evaluation, we propose a Checklist-Based Verification Protocol that decomposes answers into atomic, verifiable facts, thereby replacing subjective ratings with objective verification. Our evaluation of state-of-the-art (SOTA) LLMs reveals a persistent gap between high clarity and evidencegrounded technical correctness. It also quantitatively confirms the prevalence of edit bias, in which models prioritize code generation instead of architectural analysis. Finally, we demonstrate that our verification protocol significantly improves evaluation reliability compared to traditional evaluations with scalar scoring.