Multi-LCB: Extending LiveCodeBench to Multiple Programming Languages
作者: Maria Ivanova, Pavel Zadorozhny, Rodion Levichev, Ivan Petrov, Adamenko Pavel, Ivan Lopatin, Alexey Kutalev, Dmitrii Babaev
分类: cs.AI, cs.PL
发布日期: 2026-06-18
备注: ICLR 2026
💡 一句话要点
提出Multi-LCB以解决多编程语言评估问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多编程语言 代码生成 大型语言模型 评估基准 污染控制 任务转换 性能评估
📋 核心要点
- 现有的LiveCodeBench（LCB）仅限于Python，无法评估LLMs在多种编程语言中的泛化能力。
- Multi-LCB通过将Python任务转换为其他语言的等效任务，扩展了LCB的评估范围，涵盖十二种编程语言。
- 在Multi-LCB上评估的24个LLMs显示出Python过拟合和多语言性能差异，揭示了当前LLMs能力的关键缺口。
📝 摘要（中文）
LiveCodeBench（LCB）最近成为评估大型语言模型（LLMs）在代码生成任务中的广泛采用基准。然而，LCB仅限于Python，未能评估LLMs在真实软件工程中所需的多种编程语言的泛化能力。本文提出Multi-LCB，一个涵盖十二种编程语言的基准，通过将LCB数据集中的Python任务转换为其他语言的等效任务，同时保持LCB的污染控制和评估协议。我们评估了24个LLMs在Multi-LCB上的表现，揭示了Python过拟合、语言特定污染和多语言性能的显著差异。我们的结果确立了Multi-LCB作为多编程语言代码评估的新基准，直接解决了LCB的主要限制。
🔬 方法详解
问题定义：本文旨在解决现有LiveCodeBench（LCB）仅限于Python的问题，无法评估大型语言模型（LLMs）在多种编程语言中的泛化能力。现有方法未能考虑多语言环境下的代码生成能力，限制了对LLMs的全面评估。
核心思路：论文提出Multi-LCB，通过将LCB数据集中Python的任务转换为其他编程语言的等效任务，扩展了评估范围。此方法保持了LCB的污染控制和评估协议，确保了评估的一致性和可靠性。
技术框架：Multi-LCB的整体架构包括任务转换模块、污染控制模块和评估协议模块。任务转换模块负责将Python任务映射到其他语言，污染控制模块确保数据集的清洁性，评估协议模块则用于统一评估标准。
关键创新：Multi-LCB的最大创新在于其对多种编程语言的支持，解决了LCB的局限性。通过保持与原LCB格式的兼容性，Multi-LCB能够自动跟踪未来的LCB更新，提供系统的跨语言代码生成能力评估。
关键设计：在设计上，Multi-LCB确保了任务转换的准确性，使用了相应的编程语言语法和语义，同时保持了评估标准的一致性。关键参数设置包括任务难度、语言特性和评估指标的统一，以确保评估结果的可比性。
🖼️ 关键图片
📊 实验亮点
在Multi-LCB上评估的24个LLMs显示出显著的性能差异，揭示了Python过拟合和语言特定污染的问题。实验结果表明，多语言性能存在显著差距，为未来的模型改进提供了重要依据。
🎯 应用场景
Multi-LCB的研究成果具有广泛的应用潜力，尤其在教育、软件开发和自动化测试等领域。它可以帮助开发者和研究人员更好地理解和评估大型语言模型在多种编程语言中的表现，从而推动代码生成技术的进步和应用。
📄 摘要（原文）
LiveCodeBench (LCB) has recently become a widely adopted benchmark for evaluating large language models (LLMs) on code-generation tasks. By curating competitive programming problems, constantly adding fresh problems to the set, and filtering them by release dates, LCB provides contamination-aware evaluation and offers a holistic view of coding capability. However, LCB remains restricted to Python, leaving open the question of whether LLMs can generalize across the diverse programming languages required in real-world software engineering. We introduce Multi-LCB, a benchmark for evaluating LLMs across twelve programming languages, including Python. Multi-LCB transforms Python tasks from the LCB dataset into equivalent tasks in other languages while preserving LCB's contamination controls and evaluation protocol. Because it is fully compatible with the original LCB format, Multi-LCB will automatically track future LCB updates, enabling systematic assessment of cross-language code generation competence and requiring models to sustain performance well beyond Python. We evaluated 24 LLMs for instruction and reasoning on Multi-LCB, uncovering evidence of Python overfitting, language-specific contamination, and substantial disparities in multilingual performance. Our results establish Multi-LCB as a rigorous new benchmark for multi-programming-language code evaluation, directly addressing LCB's primary limitation and exposing critical gaps in current LLM capabilities.