4DStreamCtrl: Interactive Video Generation with Online 4D Control
作者: Shiqian Li, Chenguo Lin, Zhiguang Liu, Yu Tang, Jiarong Ou, Rui Chen, Yixin Zhu
分类: cs.CV, cs.AI
发布日期: 2026-08-26
备注: 23 pages
💡 一句话要点
提出4DStreamCtrl以实现实时4D视频生成与控制
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)
关键词: 视频生成 实时控制 3D点轨迹 深度编辑 运动转移 因果推理 虚拟现实 智能体
📋 核心要点
- 现有视频生成方法在交互性和运动控制精度上存在不足，无法同时实现相机和物体的实时控制。
- 本文提出了一种新的3D点轨迹表示方法，能够在单个模型中实现相机和物体的联合控制及深度编辑。
- 实验表明，4DStreamCtrl在480p视频生成中达到了20 FPS的速度，超越了现有的相机、2D和离线3D方法的运动控制精度。
📝 摘要（中文）
生成视频模型现在能够合成几乎与现实无法区分的画面。其作为交互工具的潜力依赖于对物体和相机随时间移动的精细控制，但现有方法各自只能捕捉部分信息：相机参数方法只能控制视角，2D轨迹方法忽略深度和遮挡，最近的3D方法虽然增加了几何信息，但只能离线运行且长度固定。本文提出将相机运动、物体轨迹和深度统一为单一的3D点轨迹表示，从而实现相机和物体的联合控制、深度编辑和运动转移。通过在野外视频中挖掘3D运动监督，构建了OpenVidHD-Motion3D，并使用轻量级几何运动头与预训练的视频扩散模型结合。该模型在单个高端GPU上以20 FPS的速度生成480p视频，且在数百帧中保持时间一致性，首次实现了交互式4D可控流生成。
🔬 方法详解
问题定义：本文旨在解决现有视频生成方法在实时性和运动控制精度上的不足，尤其是无法同时控制相机和物体的运动。现有方法多为单一控制，缺乏深度信息的整合。
核心思路：论文提出将相机运动、物体轨迹和深度信息统一为一个3D点轨迹表示，设计一个模型以实现相机和物体的联合控制、深度编辑和运动转移，这样的设计使得生成过程更加高效和一致。
技术框架：整体架构包括三个主要模块：1) 3D点轨迹表示的构建；2) 轻量级几何运动头的设计，用于与预训练的视频扩散模型结合；3) 通过因果推理实现的流式生成，支持任意长度视频的生成。
关键创新：最重要的技术创新在于将相机和物体的运动控制与深度信息整合在一个模型中，且实现了实时流式生成，这在现有方法中是前所未有的。
关键设计：模型采用轻量级的几何运动头，能够在时间上可分离，并通过蒸馏训练生成因果流式学生模型，支持在内存独立于长度的情况下生成任意长度的视频。
🖼️ 关键图片
📊 实验亮点
实验结果显示，4DStreamCtrl在480p视频生成中以20 FPS的速度运行，且在运动控制精度上超越了现有的相机、2D和离线3D方法，展现出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、游戏开发和机器人控制等。通过实现实时的4D视频生成与控制，能够为用户提供更为沉浸和互动的体验，推动智能体在复杂环境中的应用与发展。
📄 摘要（原文）
Generative video models now synthesize footage nearly indistinguishable from reality. Their promise as interactive tools hinges on fine-grained control of how objects and the camera move over time, yet each existing approach captures only part of this: camera-parameter methods steer the viewpoint but cannot move objects, 2D-trajectory methods act in the image plane and ignore depth and occlusion, and recent 3D methods add geometry but run only offline at a fixed length. In particular, none combines 3D-consistent control of both camera and objects with real-time, streaming generation. Here we show that camera motion, object trajectories, and depth can be unified into a single 3D point-track representation, from which one model performs joint camera and object control, depth editing, and motion transfer in a single forward pass. To learn this interface at scale, we mine in-the-wild video for 3D motion supervision, yielding OpenVidHD-Motion3D, and encode it with a lightweight Geometric Motion Head that plugs into a pretrained video diffusion model. Because this encoder is temporally separable, we distill the model into a causal streaming student that generates arbitrarily long video in four denoising steps at memory independent of length. This unified design surpasses prior camera-only, 2D, and offline-3D methods in motion-control precision while covering modalities they address only in isolation. 4DStreamCtrl runs at 20 FPS on a single high-end GPU for 480p video and stays temporally coherent over hundreds of frames, enabling, to our knowledge, interactive 4D-controllable streaming generation for the first time. More broadly, grounding generation in explicit 3D geometry with efficient causal inference points toward interactive world models with closed-loop spatiotemporal control, from controllable simulators to real-time visual imagination for embodied agents.