Learning Video Dynamics with Predictive Differentiable Rendering
作者: Yujin Tang, Tian Zhou, Xin Lin, Cheng Tan, Yifan Hu, Rong Jin, SouYoung Jin, Liang Sun
分类: cs.CV, cs.AI
发布日期: 2026-06-30
备注: Accepted by ECCV 2026. 18 pages, 5 figures, 11 tables
💡 一句话要点
提出预测可微渲染以解决视频预测中的细节缺失问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 视频预测 可微渲染 高斯表示 细节保留 深度学习
📋 核心要点
- 现有视频预测模型在离散像素空间中优化，导致细节缺失和过度平滑的问题。
- 提出了预测可微渲染（PDR），通过2D高斯表示与现有模型结合，提升空间细节保留能力。
- 在多个真实世界基准上，PDR显著超越了现有方法，提升了视觉保真度和预测准确性。
📝 摘要（中文）
如何准确预测高保真未来世界？现有的确定性视频预测模型在离散像素空间中运行，主要通过像素级均方误差（MSE）优化，导致预测结果过于平滑，缺乏细致的视觉细节。为了解决这些局限性，我们提出了预测可微渲染（PDR），这是一种新颖的端到端视频预测范式，弥合了离散与连续表示之间的差距。我们引入了PredGS，一个基于2D高斯表示的轻量级插件，能够与现有的像素空间预测器无缝集成，显著提高空间细节保留，同时计算开销微乎其微。此外，我们开发了支持任意通道的CUDA加速可微2D高斯渲染器predgsplat。经过大量实验，PDR在TaxiBJ、WeatherBench、KTH和Human3.6M等多种真实世界基准上表现优异，超越现有方法，提供更好的细节保留、视觉保真度和预测准确性。
🔬 方法详解
问题定义：本论文旨在解决视频预测中细节缺失和过度平滑的问题。现有方法主要依赖于像素级均方误差（MSE），导致预测结果缺乏细致的视觉信息。
核心思路：我们提出了预测可微渲染（PDR），通过引入2D高斯表示，弥合离散与连续表示之间的差距，从而提高视频预测的细节保留能力。
技术框架：PDR的整体架构包括两个主要模块：PredGS，一个轻量级的2D高斯适配器，和predgsplat，一个CUDA加速的可微2D高斯渲染器。PredGS与现有的像素空间预测器无缝集成，predgsplat则支持任意通道的渲染。
关键创新：最重要的创新在于引入了2D高斯表示和可微渲染技术，使得模型在保持高效计算的同时，显著提升了细节保留能力。这一方法与传统的MSE优化方法有本质区别。
关键设计：每个高斯由5 + C个可学习参数定义，包括位置、尺度、旋转和C个通道幅度。我们采用结合L1和SSIM损失的优化策略，克服了MSE损失的模糊倾向，显著提升了预测性能。实验表明，predgsplat的渲染速度比基线快10倍。
🖼️ 关键图片
📊 实验亮点
在TaxiBJ、WeatherBench、KTH和Human3.6M等多个基准上，PDR的表现均优于现有方法，尤其在细节保留和视觉保真度方面，提升幅度显著。实验结果显示，PDR在细节保留上有明显优势，且渲染速度比基线快10倍，展示了其在实际应用中的潜力。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、视频监控、虚拟现实等场景。通过提高视频预测的视觉保真度和细节保留能力，PDR能够在这些领域提供更准确的动态场景理解，进而推动智能系统的决策能力和用户体验的提升。未来，该技术有望在多模态数据融合和实时视频分析中发挥重要作用。
📄 摘要（原文）
How to accurately predict a high-fidelity future world? While the visual world is inherently continuous, existing deterministic video prediction models operate in discrete pixel space and are mainly optimized with pixel-wise mean squared error (MSE), which often leads to over-smoothed predictions and a lack of fine-grained visual details. To address these limitations, we propose Predictive Differentiable Rendering (PDR), a novel end-to-end video prediction paradigm that bridges the gap between discrete and continuous representations. Inspired by recent progress in 3D reconstruction with 3D Gaussian Splatting, we introduce PredGS, a lightweight and plug-and-play adapter based on 2D Gaussian representation, which could be seamlessly integrated with existing pixel space predictors, significantly improving spatial detail preservation with negligible computational overhead. Furthermore, we develop predgsplat, a CUDA-accelerated differentiable 2D Gaussian renderer supporting arbitrary channels. Each Gaussian is defined by 5 + C learnable parameters (position, scale, rotation, and C channel amplitudes) and achieves up to 10x faster rendering than the baseline. Optimized by a combined L1 and SSIM loss, PDR overcomes the inherent blurring tendencies of MSE Loss, significantly enhancing the prediction performance. Extensive experiments on diverse real-world benchmarks, including TaxiBJ, WeatherBench, KTH, and Human3.6M, demonstrate that PDR consistently surpasses existing methods, delivering superior detail preservation, visual fidelity, and predictive accuracy.