Game2World Engine: Unlocking In-the-Wild Gameplay Videos for World Model Training

📄 arXiv: 2608.24680v1 📥 PDF

作者: Wenxuan Shen, Dongna Jin, Dongping Chen

分类: cs.CV

发布日期: 2026-08-25

备注: We are currently building Gaming World Model and data engine that transfers game dynamics to robotics. Feel free to contact Dongping Chen (dongpingchen0612@gmail.com) if you are interested in research collaboration or financial support

🔗 代码/项目: GITHUB

💡 一句话要点

提出Game2World引擎以解决游戏视频训练数据问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 游戏视频 世界模型 UI去除 多模态理解 视频编辑 数据增强 深度学习

📋 核心要点

  1. 现有方法在处理游戏视频时，无法有效去除游戏特定的UI元素，导致训练数据的偏差。
  2. 论文提出G2WEngine框架，通过自动提取和合成UI资产，解决了游戏视频中的UI干扰问题。
  3. 实验表明，使用GameCleaner去除UI后，模型性能显著提升，UI-free数据训练的VideoReward提高了6.83%。

📝 摘要（中文）

视频游戏为视频世界模型提供了可扩展的训练数据来源，具有多样化的环境、复杂的交互和丰富的真实游戏视频。然而，原始游戏画面与屏幕空间界面交织，带来了游戏特定的偏见和无关的动态，阻碍了世界模型的训练。为了解决这一问题，本文提出了GameUI-Taxonomy和G2WEngine，一个完整的框架，规范化游戏UI的基础和去除。G2WEngine自动提取真实游戏视频中的可重用UI资产，并在干净的画面上合成时间一致的UI覆盖。基于Game2World，我们提出了GameCleaner，一个无掩码的游戏UI去除模型，结合了多模态语义理解和视频编辑能力。实验结果表明，基于UI-free游戏数据训练的世界模型在VideoReward上提高了6.83%。

🔬 方法详解

问题定义：本文旨在解决游戏视频中UI元素对世界模型训练的干扰问题。现有方法无法有效去除这些UI元素，导致训练数据的偏差和无关动态。

核心思路：论文提出G2WEngine框架，通过自动提取游戏视频中的UI资产，并在干净画面上合成UI覆盖，从而去除干扰。GameCleaner模型则通过多模态语义理解直接识别和去除HUD元素，保留场景内容。

技术框架：G2WEngine包括UI资产提取和合成两个主要模块，首先从真实游戏视频中提取UI元素，然后在清晰的画面上合成这些元素。GameCleaner则是一个无掩码的去除模型，结合了视频编辑能力。

关键创新：最重要的创新在于GameCleaner模型，它与传统的掩码方法不同，能够直接识别和去除多样的HUD元素，同时保持场景的时间动态和内容。

关键设计：在设计中，GameCleaner使用了多模态语义理解技术，结合了特定的损失函数和网络结构，以确保去除效果和背景内容的保留。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基于GameCleaner的UI去除模型在合成视频上平均AAR达到95.36，超越最强的时间掩码基线57.3%。在真实视频评估中，GameCleaner获得80.05的AAR，背景保留率高达99.8%。这些结果表明，转化互联网游戏视频为高质量训练数据的潜力巨大。

🎯 应用场景

该研究的潜在应用领域包括游戏开发、虚拟现实和增强现实等，能够为这些领域提供高质量的训练数据，提升模型的泛化能力和性能。未来，Game2World引擎可能推动更多基于真实游戏视频的AI研究和应用。

📄 摘要（原文）

Video games provide a scalable source of training data for video world models, offering diverse environments, complex interactions, and abundant in-the-wild gameplay videos. However, raw gameplay footage entangles the game world with screen-space interfaces, introducing game-specific biases and irrelevant dynamics that hinder world-model training. To address this problem, we introduce GameUI-Taxonomy and G2WEngine, a full-stack framework that formalizes gameplay UI grounding and removal. G2WEngine automatically extracts reusable UI assets from real gameplay videos and synthesizes temporally coherent UI overlays on clean footage. Using this engine, we construct Game2World, comprising 96K synthetic paired videos with precise reconstruction targets and 1,079 in-the-wild clips from 303 games for realistic evaluation. Its asset library contains 5,132 verified UI elements across 21 taxonomy categories, collected from 1,010 representative gameplay frames. Based on Game2World, we propose GameCleaner, a mask-free gameplay UI removal model that combines multimodal semantic understanding with video editing capabilities. Unlike mask-based methods, GameCleaner directly identifies and removes diverse HUD elements while preserving the underlying scene content and temporal dynamics. In a controlled pilot, world models trained on UI-free gameplay improve overall VideoReward by 6.83% over those trained on UI-overlaid data. On UI-removal evaluation, GameCleaner achieves an average AAR of 95.36 on synthetic videos, outperforming the strongest temporal mask baseline by 57.3%, and obtains the best in-the-wild AAR of 80.05 with 99.8 background preservation. These results demonstrate the scalable potential of transforming Internet gameplay videos into high-quality world-model training data. Code, dataset, and model will be available at https://github.com/Dongping-Chen/Game2World.