Streaming4D: Accelerate 4D World Models via Block-wise Video Generation and Incremental Reconstruction
作者: Xiaoyan Liu, Jiaxin Liu, Kangrui Li, Sifan Zhou
分类: cs.CV
发布日期: 2026-09-01
💡 一句话要点
提出Streaming4D以解决4D生成中的高延迟问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 4D生成 增量重建 自回归生成 实时交互 视频处理 几何保真度
📋 核心要点
- 现有的4D生成方法通常采用顺序解耦设计，导致高交互延迟，限制了实时应用的效果。
- 本文提出Streaming4D，通过块状自回归视频生成与增量3D重建的紧密耦合，解决了高延迟问题。
- 实验结果显示，在单个RTX 4090上，Streaming4D在不同分辨率下实现了1.24倍的速度提升，同时保持了高质量的几何结构。
📝 摘要（中文）
当前的4D生成范式常常受到顺序解耦设计的瓶颈：视频首先生成，然后进行3D重建，导致高交互延迟，限制了在交互实时场景中的应用。为此，本文提出了Streaming4D，一个紧密耦合的同步管道，将块状自回归视频生成与增量3D重建相结合。与传统的逐帧生成和延迟几何恢复不同，Streaming4D生成时间视频块并立即触发每个完成块的重建，从而实现合成和几何更新之间的并行执行。这种方法使得世界表示能够随着视频流在线演变，减少反馈延迟，同时保持几何保真度。实验表明，在单个RTX 4090上，各种分辨率下的运行时均有一致的提升（1.24倍加速），同时保持高质量的4D几何和多视图一致性。
🔬 方法详解
问题定义：本文旨在解决当前4D生成方法中由于顺序解耦设计导致的高延迟问题，影响了实时交互的应用场景。
核心思路：提出Streaming4D，通过块状自回归视频生成与增量3D重建的同步管道，允许视频生成与几何更新并行进行，从而降低反馈延迟。
技术框架：Streaming4D的整体架构包括自回归生成器和增量重建后端。生成器负责生成时间视频块，而重建后端则在每个块完成后立即进行几何重建。
关键创新：Streaming4D的主要创新在于其紧密耦合的设计，使得视频生成和几何重建能够并行执行，显著提高了生成效率和实时性。
关键设计：在技术细节上，采用了Self-Forcing风格的自回归生成器，并设计了适应增量重建的损失函数，以确保生成的几何结构与视频内容的一致性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Streaming4D在单个RTX 4090上实现了1.24倍的速度提升，且在不同分辨率下保持了高质量的4D几何和多视图一致性，展示了其在实时应用中的优越性能。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、增强现实和实时视频处理等场景，能够显著提升用户体验和交互效果。未来，Streaming4D有望在游戏开发、影视制作和智能监控等领域发挥重要作用，推动相关技术的进步与应用。
📄 摘要（原文）
Current 4D generation paradigms are often bottlenecked by a sequential decoupling design: video is generated first, followed by 3D reconstruction, leading to high interaction latency. This limits applications in interactive real-time scenarios. To this end, we propose \textbf{Streaming4D}, a tightly coupled synchronous pipeline that integrates block-wise autoregressive video generation with incremental 3D reconstruction. Unlike traditional frame-by-frame emission and delayed geometry recovery, Streaming4D generates temporal video blocks and immediately triggers reconstruction for each completed block, enabling parallel execution between synthesis and geometric updates. This approach allows the world representation to evolve online with the video stream, reducing feedback latency while preserving geometric fidelity. We instantiate \textbf{Streaming4D} using a Self-Forcing-style autoregressive generator and an incremental reconstruction backend. Experiments show consistent runtime improvements across resolutions on a single RTX 4090 (1.24$\times$ speedup), while maintaining high-quality 4D geometry and multi-view consistency.