4DSTR: Advancing Generative 4D Gaussians with Spatial-Temporal Rectification for High-Quality and Consistent 4D Generation

📄 arXiv: 2511.07241v1 📥 PDF

作者: Mengmeng Liu, Jiuming Liu, Yunpeng Zhang, Jiangtao Li, Michael Ying Yang, Francesco Nex, Hao Cheng

分类: cs.CV

发布日期: 2025-11-10

备注: Accepted by AAAI 2026.The first two authors contributed equally

💡 一句话要点

提出4DSTR网络，通过时空校正生成高质量、时序一致的4D高斯模型。

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 4D生成 高斯溅射 时空一致性 视频生成 动态场景 神经渲染 时空建模

📋 核心要点

  1. 现有4D生成方法难以维持时空一致性，且对快速时间变化适应性差，主要原因是缺乏有效的时空建模。
  2. 4DSTR通过时空校正调节生成式4D高斯溅射，利用时间相关性校正形变，并自适应地进行空间稠密化和剪枝。
  3. 实验结果表明，4DSTR在视频到4D生成任务上达到了SOTA性能，在重建质量、时空一致性和适应快速运动方面表现优异。

📝 摘要（中文）

动态4D内容生成领域取得了显著进展。然而，由于缺乏有效的时空建模，以往的4D生成方法通常难以保持时空一致性，并且对快速的时间变化适应性较差。为了解决这些问题，我们提出了一种新的4D生成网络，名为4DSTR，它利用时空校正来调节生成式4D高斯溅射。具体来说，我们设计了跨生成4D序列的时间相关性，以校正可变形的尺度和旋转，并保证时间一致性。此外，我们提出了一种自适应的空间稠密化和剪枝策略，通过动态地添加或删除高斯点，并感知它们的前一帧运动，来应对显著的时间变化。大量实验表明，我们的4DSTR在视频到4D生成方面实现了最先进的性能，在重建质量、时空一致性和对快速时间运动的适应性方面表现出色。

🔬 方法详解

问题定义：现有4D生成方法在处理动态场景时，难以保证生成结果在时间和空间上的连贯性。尤其是在快速运动或复杂形变的情况下，生成的4D模型容易出现抖动、扭曲等问题，影响视觉质量和后续应用。这些问题源于缺乏有效的时空建模机制，无法充分利用时间维度上的信息来约束空间结构的演变。

核心思路：4DSTR的核心思路是利用时间相关性来校正空间形变，并根据场景变化自适应地调整高斯点的密度。通过在时间维度上建立约束，可以有效地抑制生成过程中的噪声和不一致性，从而提高生成结果的时空一致性。同时，自适应的稠密化和剪枝策略能够更好地适应快速运动和复杂形变，保证生成模型的质量。

技术框架：4DSTR的整体框架基于生成式4D高斯溅射，主要包含以下几个模块：1) 时空校正模块：利用时间相关性来校正高斯点的尺度和旋转，保证时间一致性。2) 自适应稠密化和剪枝模块：根据高斯点的运动情况，动态地添加或删除高斯点，以适应场景变化。3) 渲染模块：将校正后的高斯点渲染成4D模型。整个流程首先对输入视频进行处理，提取特征并初始化高斯点。然后，通过时空校正模块和自适应稠密化/剪枝模块对高斯点进行优化。最后，将优化后的高斯点渲染成最终的4D模型。

关键创新：4DSTR的关键创新在于其时空校正模块和自适应稠密化/剪枝模块。时空校正模块通过显式地建模时间相关性，有效地抑制了生成过程中的噪声和不一致性，从而提高了生成结果的时空一致性。自适应稠密化/剪枝模块则能够根据场景变化动态地调整高斯点的密度，更好地适应快速运动和复杂形变。与现有方法相比，4DSTR能够生成更高质量、更时序一致的4D模型。

关键设计：在时空校正模块中，论文设计了一种基于时间相关性的损失函数，用于约束高斯点在时间维度上的运动。该损失函数考虑了高斯点的位置、尺度和旋转等因素，能够有效地抑制生成过程中的抖动和扭曲。在自适应稠密化/剪枝模块中，论文设计了一种基于高斯点运动幅度的指标，用于判断是否需要添加或删除高斯点。该指标能够有效地识别场景中的快速运动和复杂形变，并根据需要动态地调整高斯点的密度。

📊 实验亮点

实验结果表明，4DSTR在视频到4D生成任务上取得了显著的性能提升。与现有方法相比，4DSTR在重建质量、时空一致性和适应快速运动方面均表现出色。具体来说，在常用的评价指标上，4DSTR的性能提升了XX%，表明其能够生成更高质量、更时序一致的4D模型。

🎯 应用场景

4DSTR具有广泛的应用前景，例如虚拟现实、增强现实、游戏开发、电影制作等领域。它可以用于生成逼真的动态场景，例如人物运动、物体变形等，从而提高用户体验。此外，4DSTR还可以用于机器人导航、自动驾驶等领域，为机器人提供更准确的环境感知信息，提高其运动能力和安全性。

📄 摘要（原文）

Remarkable advances in recent 2D image and 3D shape generation have induced a significant focus on dynamic 4D content generation. However, previous 4D generation methods commonly struggle to maintain spatial-temporal consistency and adapt poorly to rapid temporal variations, due to the lack of effective spatial-temporal modeling. To address these problems, we propose a novel 4D generation network called 4DSTR, which modulates generative 4D Gaussian Splatting with spatial-temporal rectification. Specifically, temporal correlation across generated 4D sequences is designed to rectify deformable scales and rotations and guarantee temporal consistency. Furthermore, an adaptive spatial densification and pruning strategy is proposed to address significant temporal variations by dynamically adding or deleting Gaussian points with the awareness of their pre-frame movements. Extensive experiments demonstrate that our 4DSTR achieves state-of-the-art performance in video-to-4D generation, excelling in reconstruction quality, spatial-temporal consistency, and adaptation to rapid temporal movements.