Building Pretraining Data for World Models: An Unreal Engine-Based Pipeline for Action-Conditioned Video Generation
作者: Haoyu Wang, Songchun Zhang, Haoran Li, Haoyang Huang, Zeyue Xue, Nan Duan
分类: cs.CV, cs.GR
发布日期: 2026-09-03
备注: 16 pages, 5 figures
💡 一句话要点
提出基于虚幻引擎的合成数据生成管道以解决动作条件视频生成问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 合成数据生成 动作条件视频 虚幻引擎 分布式系统 视频渲染 机器人学习 虚拟现实
📋 核心要点
- 现有方法难以从真实视频中获取与视觉变化对应的控制信号，限制了动作条件视频模型的训练。
- 提出的管道通过虚幻引擎生成合成数据，分为轨迹生成和离线渲染两个阶段，提升了数据生成的效率和质量。
- 该系统在25台服务器上运行，成功生成了大量高质量视频，展示了其在合成数据生产中的有效性。
📝 摘要（中文）
动作条件视频模型需要与控制信号时间对齐的大规模视觉数据，这在现实视频中难以获得。本文提出了一种基于虚幻引擎的合成数据生产管道，能够生成多视角的动作条件视频。该管道分为两个阶段：第一阶段在实时物理环境中生成轨迹并记录角色状态和控制输入，第二阶段在新引擎进程中重放轨迹并进行离线渲染。通过该管道，研究团队成功生成了2691小时的1080p视频和6076小时的720p视频。
🔬 方法详解
问题定义：本文旨在解决动作条件视频生成中缺乏与视觉变化对应的控制信号的问题。现有方法通常依赖真实视频，难以获得准确的时间对齐数据。
核心思路：通过构建一个基于虚幻引擎的合成数据生产管道，分阶段生成高质量的动作条件视频，以克服真实视频数据的局限性。
技术框架：该管道分为两个主要阶段：第一阶段在实时物理环境中生成轨迹，记录角色状态和控制输入；第二阶段在新的引擎进程中重放这些轨迹并进行离线渲染。整个系统还包括分布式生产系统、缓存感知任务划分和集群健康监控等模块。
关键创新：该研究的核心创新在于将实时物理模拟与高质量离线渲染相结合，形成了高效的合成数据生成流程，显著提高了数据生成的速度和质量。
关键设计：在实现过程中，采用了节点本地插槽调度、自动场景筛选和美学过滤等设计，确保生成视频的视觉质量和多样性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，该管道成功生成了2691小时的1080p视频和6076小时的720p视频，展示了其在大规模合成数据生产中的高效性和实用性，显著提升了数据生成的速度和质量。
🎯 应用场景
该研究的合成数据生成管道可广泛应用于机器人学习、虚拟现实和游戏开发等领域，能够为训练复杂的动作条件模型提供丰富的数据支持，推动相关技术的发展和应用。
📄 摘要（原文）
Action-conditioned video models require large-scale visual data paired with control signals that are temporally aligned with the resulting scene transitions. Such supervision is difficult to obtain from ordinary real-world video because the actions that caused each visual change are typically unknown. We present a large-scale synthetic data production pipeline built on Unreal Engine for generating action-conditioned, multi-view video. To accommodate the different execution requirements of real-time physics and high-quality offline rendering, the pipeline executes trajectory generation and final rendering in two stages: Stage I runs real physics in PIE and records per-frame character states, control inputs, and camera states into an intermediate trajectory representation; Stage II replays those trajectories in a new engine process and renders them offline with Movie Render Queue (MRQ). Around this core, we develop a distributed production system with cache-aware task partitioning, node-local slot scheduling, automated scene screening, aesthetic and luminance filtering, partial-output recovery, asynchronous upload, and continuous cluster health monitoring. The production cluster contains 25 servers with eight NVIDIA RTX 5090 GPUs per server. From 2,384 asset packs, 429 levels were retained for production together with a pool of 40 humanoid characters. The pipeline has produced 2,691 hours of 1080p video and 6,076 hours of 720p video. We describe the system architecture, the implementation decisions that emerged from production failures, and the limitations of using perceptual quality proxies for world-model data curation. The pipeline described in this report constitutes the Unreal Engine synthetic-data production component used in EchoWM.