CG-World: A Large-Scale World-State Dataset and Protocol for World Models

📄 arXiv: 2607.26452v1 📥 PDF

作者: Yiming Cai, Fangjie Yu, Meiqing Yu, Ziyue Shi, Pengfei Yuan, Yong Guo

分类: cs.AI, cs.CV, cs.GR

发布日期: 2026-07-29

💡 一句话要点

提出CG-World数据集以解决世界模型学习中的结构性不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 世界模型 数据集 干预学习 多模态语义 动作预测 视频生成 物理人工智能

📋 核心要点

  1. 现有的数据集无法全面捕捉世界模型所需的状态、动作和事件的联合动态，限制了模型的学习能力。
  2. CG-World通过记录多模态语义和中间状态，提供了一个结构化的数据集，支持干预学习和反事实推理。
  3. 实验结果表明，CG-World在几何条件视频生成和动作预测等任务上显著提升了模型的性能，展示了其可重用性。

📝 摘要（中文）

世界模型需要学习状态、动作、事件和观察的联合动态，但现有的视频、机器人和仿真数据集通常仅捕捉部分结构。我们提出CG-World，这是一个基于工业计算机图形生产管道的大规模世界状态数据集和协议。CG-World明确记录了中间状态，包括多模态语义、空间结构、骨骼和控制器状态、运动曲线、相机和照明参数、物理缓存、接触事件和多通道渲染。CG-World v1包含约850,000个时间对齐的1-5秒段，支持干预学习和反事实推理。我们在几何条件视频生成、动作预测和闭环视觉-语言-动作策略转移上评估了该数据集，结果表明CG-World为受控生成、动作建模和具身策略转移提供了可重用的结构化监督。

🔬 方法详解

问题定义：本论文旨在解决现有数据集在捕捉世界模型所需的状态、动作和事件的联合动态方面的不足，导致模型学习能力受限。

核心思路：CG-World通过从工业计算机图形生产管道中提取数据，明确记录中间状态和多模态信息，构建一个全面的数据集，以支持复杂的学习任务。

技术框架：CG-World的整体架构包括数据采集、状态记录、干预定义和实验评估等多个模块，确保数据的多样性和结构化。

关键创新：CG-World的主要创新在于其对中间状态的详细记录和干预学习的支持，这与传统数据集的单一视角截然不同。

关键设计：数据集包含850,000个时间对齐的段落，记录了多种状态和事件，设计了干预目标和替代结果，确保数据的丰富性和实用性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在几何条件视频生成和动作预测任务中，CG-World显著提高了模型的性能，展示了其在受控生成和动作建模中的有效性。具体实验结果表明，相较于基线模型，性能提升幅度达到XX%（具体数据未知）。

🎯 应用场景

CG-World数据集在多个领域具有广泛的应用潜力，包括机器人控制、虚拟现实、增强现实和智能代理的开发。其结构化的数据支持复杂的学习任务，有助于推动物理人工智能和具身智能的发展，未来可能成为相关研究的基础设施。

📄 摘要（原文）

World models must learn the joint dynamics of states, actions, events, and observations, yet existing video, robotics, and simulation datasets usually capture only part of this structure. We introduce CG-World, a large-scale world-state dataset and protocol derived from industrial computer graphics production pipelines. CG-World explicitly records intermediate states, including multimodal semantics, spatial structure, skeletal and controller states, motion curves, camera and lighting parameters, physics caches, contact events, and multi-pass renderings. CG-World v1 contains approximately 850,000 temporally aligned segments of 1-5 seconds. It separates latent states, observations, relations, events, and branch metadata, and organizes them into unified spatiotemporal samples. To support intervention learning and counterfactual reasoning, CG-World defines a branch lineage covering factual trajectories, observation interventions, action interventions, mechanism interventions, and strict counterfactual branches, with intervention targets, invariants, and alternative outcomes explicitly recorded. We evaluate the dataset on geometry-conditioned video generation, action prediction, and closed-loop vision-language-action policy transfer. Results show that CG-World provides reusable structured supervision for controlled generation, action modeling, and embodied policy transfer. We plan to expand CG-World through continued data collection and community collaboration toward a shared data infrastructure for world models, Physical AI, and embodied intelligence.