Beyond Pixels: From Video Priors to 4D Worlds

📄 arXiv: 2608.10744v1 📥 PDF

作者: Zihao Liu, Xiaolong Shen, Zhenglin Zhou, Ruijie Quan, Yi Yang

分类: cs.CV

发布日期: 2026-08-11

备注: Project page: https://hayd-zju.github.io/Beyond-Pixels

💡 一句话要点

提出Latent-to-4D以解决动态3D场景生成问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 动态场景生成 变分自编码器 时空注意力 4D生成 视频生成 机器学习 计算机视觉

📋 核心要点

  1. 现有方法在动态3D场景生成中存在分布不匹配和误差传播等问题，限制了生成质量和灵活性。
  2. 本文提出Latent-to-4D方法，通过共享VAE的去噪潜变量，直接进行4D生成，避免了RGB重建的复杂性。
  3. 在Text4D-200和I4D-200数据集上，Latent-to-4D在投影基础的DINO-F1指标上超越了现有方法，且在几何、时间稳定性和整体质量上获得了人类评审的偏好。

📝 摘要（中文）

4D生成旨在根据文本或图像等条件合成动态3D场景。现有方法要么通过独立的4D模型重建生成的RGB视频，要么将特定视频生成器适配为直接预测几何形状。前者存在分布不匹配和误差传播的问题，而后者则将4D预测与特定生成器绑定，可能在生成器或条件变化时需要重新训练。本文提出了一种新方法，通过共享变分自编码器（VAE）的最终去噪潜变量，提供可重用的显式4D预测接口。基于此，我们引入了直接的潜变量到4D生成方法Latent-to-4D，绕过RGB，通过将视频潜变量与预训练4D解码器的标记网格对齐，并通过逐帧和全局时空注意力进行精细化。经过训练后，Latent-to-4D在多个视频扩散变换器中实现了无缝迁移，并在多个基准数据集上表现优异。

🔬 方法详解

问题定义：本文旨在解决动态3D场景生成中的分布不匹配和误差传播问题。现有方法要么依赖独立的4D模型重建RGB视频，要么将生成器与特定任务绑定，缺乏灵活性。

核心思路：论文提出通过共享变分自编码器（VAE）的最终去噪潜变量，提供一个可重用的显式4D预测接口。这种方法直接从潜变量生成4D场景，避免了RGB重建的复杂性。

技术框架：整体架构包括潜变量与预训练4D解码器的标记网格对齐，随后通过逐帧和全局时空注意力进行精细化处理。该方法在训练时使用了约1000个现有重建片段。

关键创新：Latent-to-4D的最大创新在于其直接从潜变量生成4D场景的能力，避免了与特定生成器的绑定，具有更好的通用性和灵活性。

关键设计：在设计中，采用了逐帧和全局时空注意力机制，以增强生成的时空一致性和几何质量。损失函数的设计也考虑了生成质量和稳定性，确保了最终输出的高质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Text4D-200和I4D-200数据集上，Latent-to-4D在投影基础的DINO-F1指标上分别超越了现有方法2.88-3.45和5.81点，且在几何、时间稳定性和整体质量上获得了人类评审的偏好，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发和影视制作等，能够为动态场景生成提供更高效、灵活的解决方案。未来，该方法可能推动更多基于条件生成的应用，提升用户体验和内容创作的效率。

📄 摘要（原文）

4D generation synthesizes dynamic 3D scenes from conditions such as text or images. Existing methods either reconstruct generated RGB videos with a separate 4D model or adapt a particular video generator to predict geometry directly. The former suffers from distribution mismatch and error propagation, whereas the latter ties 4D prediction to a specific generator and may require retraining when the generator or conditioning regime changes. We ask whether the final denoised latents of video models that share a variational autoencoder (VAE) can instead provide a reusable interface to explicit 4D prediction. Building on this insight, we introduce direct latent-to-4D generation and instantiate it as Latent-to-4D, which bypasses RGB by aligning a video latent with the token grid of a pretrained 4D decoder and refining it through frame-wise and global spatiotemporal attention. Trained on roughly 1K existing reconstruction clips, a single checkpoint transfers unchanged across multiple video diffusion transformers within the same VAE family. On Text4D-200 and I4D-200, Latent-to-4D surpasses matched same-latent Wan+4RC cascades in projection-based DINO-F1 by 2.88--3.45 and 5.81 points, respectively, while also being preferred by human raters for geometry, temporal stability, and overall quality.