EgoCS-400K: An Egocentric Gameplay Dataset for World Models
作者: Rongjin Guo, Dong Liang, Yuhao Liu, Fang Liu, Tianyu Huang, Gerhard P. Hancke, Rynson W. H. Lau
分类: cs.CV
发布日期: 2026-06-16
💡 一句话要点
提出EgoCS-400K以解决大规模互动世界建模数据不足问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 互动世界建模 第一人称视频 数据集构建 游戏智能体 多模态数据
📋 核心要点
- 现有的数据集在提供可执行动作和状态方面存在不足，难以满足互动世界建模的需求。
- EgoCS-400K通过从公共职业CS和CS2比赛演示中提取人类游戏轨迹，提供了丰富的时间对齐数据。
- 该数据集支持多种任务，包括未来预测、场景回放和动作理解，展示了良好的实用性和扩展性。
📝 摘要（中文）
随着从视频生成到互动世界建模的转变，数据需求发生了变化：世界模型需要时间对齐的视频-动作-语言轨迹，这些轨迹基于驱动未来场景变化的动作、相机运动、状态和事件。然而，这类数据难以大规模获取。现有的网络视频数据集虽然视觉覆盖广泛，但缺乏可执行的动作和可靠的状态；机器人数据集提供了动作和状态的监督，但成本高且场景多样性有限；现有的模拟器通常缺乏大规模的人类驱动交互轨迹。本文提出了EgoCS-400K，这是一个大规模的回放基础的第一人称Counter-Strike数据集，旨在为世界模型提供支持，包含超过400,000个第一人称视频和10,000小时的游戏数据，涵盖13张地图和40,000轮次，支持多种互动视觉建模任务。
🔬 方法详解
问题定义：本文旨在解决大规模互动世界建模所需的时间对齐视频-动作-语言轨迹数据不足的问题。现有方法在可执行动作、状态监督和场景多样性方面存在显著缺陷。
核心思路：EgoCS-400K通过从职业游戏比赛中提取真实的游戏轨迹，构建了一个丰富的数据集，能够为世界模型提供所需的多模态数据支持。这样的设计使得数据集不仅包含视频，还包括动作、状态和事件信息。
技术框架：数据集的构建流程包括数据采集、轨迹解析、视频渲染和时间对齐等多个模块。通过这些模块，研究者能够提取玩家状态、视角变化、输入操作等信息，并生成清晰的第一人称视频。
关键创新：EgoCS-400K的主要创新在于其大规模的回放基础数据集，连接了视觉观察与人类动作、相机运动、游戏状态和事件，填补了现有数据集的空白。
关键设计：数据集中提取的关键参数包括玩家的视角、运动轨迹、键盘输入、武器使用情况等，确保了数据的多样性和丰富性，同时支持多种下游任务的研究。
🖼️ 关键图片
📊 实验亮点
EgoCS-400K包含超过400,000个第一人称视频和10,000小时的游戏数据，支持多种互动视觉建模任务。与现有数据集相比，该数据集在场景多样性和时间对齐精度上有显著提升，展示了良好的实用性和扩展性。
🎯 应用场景
EgoCS-400K在多个领域具有广泛的应用潜力，包括游戏智能体的训练、互动场景的建模以及人机交互的研究。其丰富的数据支持可以推动虚拟现实、增强现实等技术的发展，并为未来的智能系统提供更好的数据基础。
📄 摘要（原文）
The shift from video generation to interactive world modeling places new demands on data: beyond captioned videos, world models require temporally aligned video-action-language trajectories grounded in the actions, camera motion, states, and events that drive future scene changes. However, such data is difficult to obtain at scale. Web video datasets offer broad visual coverage but lack executable actions and reliable states; robotic datasets provide action and state supervision but are costly and limited in scene diversity; and existing simulators often lack large-scale human-driven interaction trajectories. In this paper, we introduce EgoCS-400K, a large-scale replay-grounded egocentric Counter-Strike dataset for world models, built from public professional CS and CS2 match demos that preserve human gameplay trajectories and enable parsing, replaying, rendering, and temporal alignment. We extract player states, view directions, movements, keyboard/button inputs, view-angle changes, weapon usage, game events, and round-level context, and render clean first-person videos from the same trajectories. EgoCS-400K contains over 400,000 first-person videos and 10,000 hours of gameplay from more than 1,000 matches and 40,000 rounds, covering 13 maps and 10 player viewpoints per round. It supports a range of interactive visual modeling tasks, including action-conditioned future prediction, state- and event-aware scene rollout, replay-grounded captioning, and agent egocentric action understanding. By connecting visual observations with human actions, camera motion, game states, and events at scale, EgoCS-400K serves as a practical bridge between passive web videos, controllable game simulation, and costly real-world embodied data.