GameVerse: A Minute-Scale Gameplay Dataset for Long-Horizon Interactive World Modeling
作者: Kang He, Wenshuo Peng, Chuanhao Li, Zihui Gao, Xiaojie Xu, Zhengyuan Lin, Yuzhe Ding, Donghong Ji, Kaipeng Zhang, Yongtao Ge
分类: cs.CV
发布日期: 2026-10-27
备注: Accepted by NeurIPS 2026
💡 一句话要点
提出GameVerse以解决长时间互动世界建模数据稀缺问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 长视频理解 互动世界建模 游戏数据集 动态环境生成 深度学习
📋 核心要点
- 现有的互动世界模型在超过一分钟的生成过程中难以保持一致性，主要由于缺乏长时间的训练数据。
- 本文提出GameVerse数据集，包含69.7K个分钟级游戏片段，专为长时间互动世界建模设计，解决了数据稀缺问题。
- 实验结果表明，使用GameVerse训练的模型在时间范围上有显著提升，超越了现有数据集的表现。
📝 摘要（中文）
随着互动世界模型的进步，生成可控的动态环境成为可能。然而，现有模型在超过一分钟的生成过程中难以保持一致性，这一限制并非源于模型能力，而是缺乏长时间训练数据。现有的游戏视频数据集通常由十秒以下的片段组成，且其描述文本粗糙且不具差异性，无法满足可控的长时间生成需求。为此，本文提出了GameVerse，一个专为长时间互动世界建模而设计的分钟级游戏视频数据集。GameVerse包含69.7K个片段，跨越1,655小时和3.496亿帧，涵盖多样的第一人称和第三人称游戏玩法，包括1,358小时的连续两分钟序列，远超以往数据集。每个片段都经过统一的处理流程，包括场景一致性分割、质量过滤、相机姿态估计和基于事件的注释。综合分析表明，GameVerse在规模、多样性和注释质量上均优于现有公共数据集。实验进一步表明，在GameVerse上训练显著延长了互动世界模型的时间范围。
🔬 方法详解
问题定义：论文要解决的问题是现有互动世界模型在长时间生成中的一致性不足，主要由于缺乏足够的长时间训练数据。现有数据集通常由短片段组成，无法支持长时间的可控生成。
核心思路：论文的核心思路是构建一个分钟级的游戏视频数据集GameVerse，提供丰富的长时间片段和高质量的注释，以支持长时间的互动世界建模。通过提供更长的连续片段，模型能够更好地学习时间上的一致性。
技术框架：GameVerse的数据处理流程包括场景一致性分割、质量过滤、相机姿态估计和事件注释。每个片段都配有稳定的相机轨迹和与事件边界对齐的注释，确保了数据的高质量和一致性。
关键创新：最重要的技术创新点在于GameVerse的数据规模和注释质量，尤其是提供了1,358小时的连续两分钟序列，显著超过了以往数据集的长度和多样性。
关键设计：在数据处理过程中，采用了统一的处理管道，确保了片段的场景一致性和动态事件的清晰分离。注释设计上，强调了静态场景上下文与动态前景事件的区分，提升了数据的可用性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用GameVerse训练的模型在时间范围上显著提升，能够生成超过一分钟的连贯互动场景。与现有数据集相比，GameVerse在规模和多样性上均有显著优势，提供了更高质量的训练数据，推动了互动世界模型的发展。
🎯 应用场景
该研究的潜在应用领域包括游戏开发、虚拟现实和增强现实等互动环境的建模。通过提供高质量的长时间数据集，GameVerse能够帮助研究人员和开发者构建更为复杂和动态的虚拟世界，提升用户体验和交互质量。未来，该数据集的影响可能扩展到更广泛的AI训练和模拟领域。
📄 摘要（原文）
Recent advances in interactive world models have made it possible to generate controllable, dynamic environments from action inputs. Yet current models struggle to maintain coherence beyond roughly one minute of rollout, a limitation rooted not in model capacity but in the scarcity of long-horizon training data. Existing gameplay video datasets typically consist of clips under ten seconds, with captions that describe whole clips in coarse and undifferentiated text, which is insufficient for controllable long-horizon generation. We address this with GameVerse, a minute-scale gameplay video dataset purpose-built for long-horizon interactive world modeling. GameVerse contains 69.7K clips spanning 1,655 hours and 349.6 million frames across diverse first- and third-person gameplay, including 1,358 hours of continuous two-minute sequences, an order of magnitude longer than prior datasets. Clips pass through a unified pipeline of scene-consistent segmentation, quality filtering, camera pose estimation, and event-based caption annotation. Each clip is paired with a temporally stable camera trajectory that remains coherent across minutes, together with captions that separate static scene context from dynamic foreground events and align to event boundaries rather than fixed time windows. Comprehensive analysis shows that GameVerse surpasses existing public datasets in scale, diversity, and annotation quality. Experiments further demonstrate that training on GameVerse substantially extends the temporal horizon of interactive world models.