GameCraft-Bench: Can Agents Build Playable Games End-to-End in a Real Game Engine?
作者: Tongxu Luo, Rongsheng Wang, Jiaxi Bi, Chenming Xu, Zhengyang Tang, Jianlong Chen, Juhao Liang, Ke Ji, Shuqi Guo, Yuhao Du, Fan Bu, Wenyu Du, Xiaotong Zhang, Kyle Li, Shaobo Wang, Linfeng Zhang, Yuxuan Liu, Xin Lai, Chenxin Li, Yiduo Guo, Zhexin Zhang, Xinyuan Wang, Tianyi Bai, Ziniu Li, Benyou Wang
分类: cs.CL
发布日期: 2026-06-16
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出GameCraft-Bench以解决游戏生成的评估问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 游戏生成 编码代理 交互评估 多模态评判 自动化内容生成
📋 核心要点
- 现有的游戏生成方法在实现完整游戏内容和交互体验方面面临重大挑战，尤其是在游戏引擎环境中。
- 论文提出了一个交互基础的评估框架，通过重播演示和多模态评判来评估游戏生成的可执行性。
- 实验结果表明，尽管代理能够实现基本的游戏机制，但在生成完整游戏方面仍存在显著不足，最强代理得分仅为41.46%。
📝 摘要（中文）
游戏生成是编码代理的一个新兴应用，要求模型将自然语言规范转化为可玩的交互系统。与传统编码任务不同，游戏生成发生在游戏引擎中，脚本、场景、资产、渲染和运行时交互必须共同产生连贯的游戏体验。我们将端到端游戏生成形式化为在目标环境中通过可观察的玩家-游戏交互实现规范的完整游戏工件。我们提出一个交互基础的评估框架，通过重播演示和评分指导的多模态评判来评估可执行的游戏体验。我们将该框架实例化为GameCraft-Bench，一个包含15个游戏家族的140个Godot任务的基准。前沿编码代理的评估显示，端到端游戏生成仍然非常具有挑战性：最强代理仅达到41.46%的得分，大多数代理得分低于40%。进一步分析表明，尽管代理通常实现了可识别的机制，但在提供完整游戏内容、功能性视觉反馈和连贯展示方面存在困难。
🔬 方法详解
问题定义：本论文旨在解决游戏生成中的评估问题，现有方法在生成完整游戏和交互体验方面存在不足，难以满足游戏引擎的复杂需求。
核心思路：论文提出的核心思路是构建一个交互基础的评估框架，通过重播演示和多模态评判来评估游戏生成的可执行性，从而更全面地反映游戏的质量。
技术框架：整体架构包括三个主要模块：游戏生成模块、交互评估模块和反馈优化模块。游戏生成模块负责根据自然语言规范生成游戏，交互评估模块通过重播和评分系统评估游戏体验，反馈优化模块则用于改进生成策略。
关键创新：最重要的技术创新点在于提出了交互基础的评估框架，强调了游戏生成过程中的玩家-游戏交互，区别于传统的静态评估方法。
关键设计：在设计中，采用了多模态评判标准，结合视觉、交互和内容完整性等多个维度进行评估，同时设置了适应游戏引擎特性的损失函数，以优化生成效果。
🖼️ 关键图片
📊 实验亮点
实验结果显示，最强代理在GameCraft-Bench基准上的得分为41.46%，而大多数代理得分低于40%。这表明端到端游戏生成仍然面临重大挑战，尤其是在内容完整性和交互体验方面。
🎯 应用场景
该研究的潜在应用领域包括游戏开发、教育游戏设计和自动化内容生成等。通过提升游戏生成的质量和效率，能够为开发者提供更强大的工具，推动游戏产业的创新与发展。未来，该框架还可能扩展到其他交互式系统的生成与评估中。
📄 摘要（原文）
Game generation is an emerging application of coding agents, requiring models to transform natural-language specifications into playable interactive systems. Unlike traditional coding tasks, game generation takes place within a game engine, where scripts, scenes, assets, rendering, and runtime interactions must jointly produce coherent gameplay. We formalize end-to-end game generation as the problem of producing a complete game artifact that realizes a specification through observable player-game interaction in a target environment. We argue that evaluating this setting requires three desiderata: Engine Grounding, Artifact Completeness, and Interactive Verification. We propose an interaction-grounded evaluation framework that assesses executable gameplay through replayed demonstrations and rubric-guided multimodal judging. We instantiate this framework as GameCraft-Bench, a benchmark comprising 140 Godot tasks across 15 game families. Evaluations of frontier coding agents show that end-to-end game generation remains highly challenging: the strongest agent achieves only 41.46%, and most agents score below 40%. Further analysis reveals that while agents often implement recognizable mechanics, they struggle to deliver complete games with sufficient content, functional visual feedback, and coherent presentation. See https://tongxuluo.github.io/gamecraft-bench-website for demos, code, and data.