A Unified Arena for LLM Agents across Diverse Eurogame
作者: Fengrui Zhang, Xiang Li, Ruomeng Ding, Jiayi Yuan, Yuchen Huang, Zhaoyang Han, Xiaoliang Wang, Daoyuan Chen, Yaliang Li
分类: cs.AI
发布日期: 2026-10-26
💡 一句话要点
提出DECE以评估大语言模型在多样化Eurogame中的表现
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 多样化游戏 模型评估 竞争环境 智能代理 资源效率
📋 核心要点
- 现有评估方法局限于单一游戏或框架，无法清晰识别不同设置下的竞争优势。
- 提出DECE，一个统一的竞技场，涵盖十个Eurogame，提供共享接口和评估协议。
- 实验显示，模型在不同执行框架中的表现差异显著，资源使用效率需作为比较的重要因素。
📝 摘要（中文）
交互环境为评估大语言模型（LLM）代理提供了实用的方法，而竞争游戏则将这种评估扩展到由竞争目标和其他代理选择所塑造的决策中。然而，现有评估局限于单个游戏或执行框架，导致不同设置下的竞争优势不明确。我们提出了DECE（多样化Eurogame竞争环境），这是一个统一的竞技场，涵盖十个Eurogame，具有共享接口和评估协议。这些游戏结合了持久的战略承诺、共享资源的竞争和多条胜利路径。我们的主要研究评估了12种模型-执行配置，涵盖九个模型和四个执行框架，在十个游戏中进行了480场三人比赛。主要和补充研究共完成了1,032场比赛。这些比较揭示了跨游戏排名的一致性以及游戏特定的优势。匹配研究表明，相同模型在不同执行框架中的表现可能不同，增加了这些配置的变异来源。这些性能优势并不总是能转化为更好的令牌或成本效率，使资源使用成为比较配置时的另一个考虑因素。总的来说，研究结果支持通过竞争表现和所需资源来评估完整的代理配置。
🔬 方法详解
问题定义：本论文旨在解决现有评估方法在多样化游戏环境中无法清晰识别竞争优势的问题。现有方法往往局限于单一游戏或框架，导致评估结果的适用性和普遍性不足。
核心思路：论文提出DECE，通过构建一个统一的竞技场，整合多个Eurogame的评估，旨在提供更全面的模型性能比较。这样的设计使得不同游戏间的比较变得可行，并有助于识别模型在不同环境中的表现差异。
技术框架：DECE包含十个Eurogame，采用共享的接口和评估协议。研究中评估了12种模型-执行配置，涵盖九个模型和四个执行框架，进行480场三人比赛。
关键创新：最重要的创新在于构建了一个跨多个游戏的统一评估平台，使得不同游戏间的模型性能比较成为可能。这一方法突破了传统评估的局限，提供了更广泛的视角。
关键设计：在实验中，模型的配置、执行框架及其在不同游戏中的表现被系统地记录和分析。特别关注了资源使用效率与模型性能之间的关系，强调了在比较配置时考虑资源使用的重要性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，跨游戏排名一致性较高，且模型在不同执行框架中的表现差异显著。总共完成了1,032场比赛，揭示了资源使用效率与模型性能之间的复杂关系，为未来的模型配置提供了新的视角。
🎯 应用场景
该研究的潜在应用领域包括游戏AI、智能代理系统以及多智能体协作等。通过提供一个统一的评估框架，研究成果可以帮助开发更高效的AI代理，提升其在复杂环境中的决策能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
Interactive environments offer a practical way to evaluate large language model (LLM) agents, and competitive games extend this evaluation to decisions shaped by competing goals and other agents' choices. Yet existing evaluations confined to individual games or execution frameworks leave unclear which competitive advantages persist across settings. We introduce DECE (Diverse Eurogame Competitive Environments), a unified arena spanning ten Eurogames with shared interfaces and evaluation protocols. These games combine lasting strategic commitments, competition over shared resources, and multiple routes to victory. Our primary study evaluates 12 model-harness configurations, spanning nine models and four execution harnesses, in 480 three-player matches across ten games. The main and supplementary studies comprise 1,032 completed matches in total. These comparisons reveal broad cross-game ranking agreement alongside game-specific strengths. Matched studies show that the same model can perform differently across execution harnesses, adding another source of variation to these profiles. These performance advantages do not consistently translate into better token or cost efficiency, making resource use an additional consideration when comparing configurations. Together, the findings support evaluating complete agent configurations by both their competitive performance across games and the resources needed to achieve it.