LLVM-Bench: Benchmarking and Advancing Large Language Models for LLVM Compiler Issue Resolution

📄 arXiv: 2607.00700v1 📥 PDF

作者: Zhao Tian, Yingquan Zhao, Chenyao Suo, Meng Wang, Junjie Chen

分类: cs.SE, cs.AI, cs.PL

发布日期: 2026-07-01

💡 一句话要点

提出LLVM-Bench以解决LLVM编译器问题的评估与进展

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLVM 大型语言模型 问题解决 基准测试 自动化评估 集成方法 软件维护

📋 核心要点

  1. 现有的LLM在LLVM编译器问题解决中表现有限，主要面临补丁无效和构建失败等挑战。
  2. 本文提出LLVM-Bench和LLVM-Gym，前者是针对LLVM问题解决的基准，后者是自动化评估平台。
  3. 实验结果显示，LLVM-Ens方法的解决率达到21.99%，显著提升了LLVM问题的解决能力。

📝 摘要（中文）

LLVM是一种广泛使用的编译器基础设施，其规模和复杂性使得问题解决变得劳动密集且具有挑战性。尽管大型语言模型（LLMs）在问题解决方面取得了显著成功，但其在复杂系统级LLVM编译器上的有效性仍未得到充分探索。为了解决这一空白，本文介绍了LLVM-Bench，这是第一个针对LLVM问题解决的大规模基准，包含423个来自LLVM项目的真实、经过验证的任务。此外，我们开发了LLVM-Gym，一个可扩展的评估平台，自动化问题重现、补丁应用、编译器构建和测试执行。通过LLVM-Bench和LLVM-Gym，我们对四种代表性的LLM、六种检索配置和三种代理进行了全面研究，结果显示当前基于LLM的问题解决技术在LLVM-Bench上仍然有限，补丁无效和构建失败是主要的失败模式。我们进一步揭示了不同LLM和代理之间的强互补性，激励了LLVM-Ens的提出，这是一种轻量级集成方法，通过整合多种技术生成的补丁，扩展补丁空间，过滤错误和冗余候选，并识别最有前景的解决方案。我们的结果表明，LLVM-Ens的解决率高达21.99%，进一步改善了LLVM问题解决。

🔬 方法详解

问题定义：本文旨在解决现有大型语言模型在LLVM编译器问题解决中的有效性不足，尤其是在复杂系统级任务中的应用挑战。现有方法在处理真实问题时常常面临补丁无效和构建失败的困境。

核心思路：论文提出LLVM-Bench作为大规模基准，结合LLVM-Gym自动化评估平台，以系统化地评估和改进LLM在LLVM问题解决中的表现。通过分析不同LLM和代理的互补性，提出LLVM-Ens集成方法，旨在提高解决率。

技术框架：整体架构包括LLVM-Bench基准任务的收集与验证、LLVM-Gym平台的构建与自动化流程，以及LLVM-Ens集成方法的设计。主要模块包括任务生成、补丁生成、候选过滤和最终解决方案识别。

关键创新：最重要的创新点在于提出了LLVM-Bench和LLVM-Gym的结合，形成了一个系统化的评估框架，并通过LLVM-Ens方法实现了多种技术生成补丁的有效整合，显著提高了解决率。

关键设计：在设计中，LLVM-Gym实现了问题重现、补丁应用和测试执行的自动化，确保了评估过程的高效性和准确性。同时，LLVM-Ens通过过滤冗余和错误候选，优化了补丁选择过程。具体参数设置和网络结构细节在论文中进行了详细讨论。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLVM-Ens方法在LLVM-Bench上实现了高达21.99%的问题解决率，显著优于现有的LLM技术。这一成果不仅展示了不同LLM和代理之间的互补性，还为LLVM编译器问题解决提供了新的思路和方法。

🎯 应用场景

该研究的潜在应用领域包括编译器开发、软件维护和自动化修复等。通过提高LLVM编译器问题的解决效率，能够显著降低开发者的工作负担，提升软件质量。此外，LLVM-Bench和LLVM-Gym的框架也可为其他复杂系统问题的研究提供借鉴，推动相关领域的进步。

📄 摘要（原文）

LLVM is a widely used compiler infrastructure whose scale and complexity make issue resolution labor-intensive and challenging. Although large language models (LLMs) have recently achieved remarkable success in issue resolution, their effectiveness on complex system-level LLVM compiler remains largely unexplored. To address this gap, we introduce LLVM-Bench, the first large-scale benchmark for LLVM issue resolution, containing 423 real-world, validated tasks collected from the LLVM project. We further develop LLVM-Gym, a scalable evaluation platform that automates issue reproduction, patch application, compiler building, and test execution. Using LLVM-Bench and LLVM-Gym, we conduct a comprehensive study of four representative LLMs, six retrieval configurations, and three agents. Our results show that current LLM-based issue resolution techniques remain limited on LLVM-Bench, with patch invalidity and build failures as the dominant failure modes. We further reveal a strong complementarity among different LLMs and agents, motivating LLVM-Ens, a lightweight ensemble approach that expands the patch space through integrating the patches generated by diverse techniques, filters incorrect and redundant candidates, and identifies the most promising solution. Our results show that LLVM-Ens achieves a resolution rate of up to 21.99%, further improving LLVM issue resolution.