ReconDreamer#: Self-Evolving Closed-Loop Synergy of Reconstruction and Generation for Dynamic Driving Scenes
作者: Songling Liu, Guosheng Zhao, Xiaofeng Wang, Chaojun Ni, Guan Huang, Jiwen Lu, Xingang Wang, Zheng Zhu
分类: cs.CV
发布日期: 2026-11-03
💡 一句话要点
提出ReconDreamer#以解决动态驾驶场景重建与生成的协同问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 动态驾驶场景 重建与生成 自我演化 闭环机制 几何先验 三维表示 性能提升
📋 核心要点
- 现有动态驾驶场景重建方法在生成数据与真实传感器观测之间存在显著差距，影响重建质量。
- 本文提出的ReconDreamer#框架通过重建与生成的自我演化闭环，互相强化，提升重建模型的表现。
- 在Waymo数据集上，ReconDreamer#在多个指标上显著优于基线方法，验证了其有效性和提升幅度。
📝 摘要（中文）
动态驾驶场景重建近年来取得了显著进展，尤其是在新轨迹渲染质量方面。然而，生成数据与真实传感器观测之间仍存在显著差距，严重阻碍了重建保真度的进一步提升。本文提出了ReconDreamer#，一个自我演化的框架，通过重建与生成的协同作用，显著缩小合成新轨迹数据与真实世界观测之间的差距。在这一自我演化的闭环框架中，生成模型与重建模型通过迭代优化相互增强，最终显著提升了重建模型的三维表示能力。此外，我们引入了一种基于几何先验的自适应地面模型，以进一步提升重建模型的渲染质量。我们在Waymo、nuScenes、PandaSet和EUVS基准上进行了全面评估，结果表明，ReconDreamer#在Waymo数据集上相较于ReconDreamer++在6米横向偏移下，NTA-IoU和NTL-IoU分别提高了8.8%和3.0%，FID降低了15.1%。
🔬 方法详解
问题定义：本文旨在解决动态驾驶场景重建中生成数据与真实观测之间的差距，现有方法在重建保真度上存在不足，影响了实际应用效果。
核心思路：ReconDreamer#通过自我演化的闭环机制，将重建与生成模型相互强化，利用迭代优化提升三维重建能力，从而缩小合成数据与真实数据的差距。
技术框架：该框架包括生成模型与重建模型两个主要模块，通过迭代过程实现相互反馈与优化，此外引入几何先验的自适应地面模型以提升渲染质量。
关键创新：最重要的创新在于自我演化的闭环机制，使得重建与生成模型能够动态适应和优化，显著提升了重建的三维表示能力，与传统方法相比具有本质区别。
关键设计：在模型设计中，采用了特定的损失函数以平衡生成与重建的效果，同时在网络结构上引入了几何先验信息，增强了模型对复杂场景的适应能力。
🖼️ 关键图片
📊 实验亮点
在Waymo数据集上，ReconDreamer#在6米横向偏移下，NTA-IoU和NTL-IoU分别提高了8.8%和3.0%，同时FID降低了15.1%。这些结果表明，ReconDreamer#在动态驾驶场景重建中显著优于基线方法ReconDreamer++，验证了其有效性。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在自动驾驶、虚拟现实和增强现实等领域。通过提升动态场景的重建质量，能够为自动驾驶系统提供更可靠的环境感知，进而提高安全性和效率。此外，该技术也可用于模拟训练和场景重建，推动相关领域的发展。
📄 摘要（原文）
Dynamic driving scene reconstruction has made remarkable strides in recent years by leveraging generative priors, particularly in the quality of novel trajectory rendering. Nevertheless, a significant gap remains between the generated data and real-world sensor observations, severely hindering further improvements in reconstruction fidelity. In this paper, we present ReconDreamer#, a self-evolving framework that synergizes reconstruction and generation for dynamic driving scenes, which substantially bridges the gap between synthesized novel trajectory data and recorded real-world observations. Within this self-evolving closed-loop framework, the generative and reconstruction models mutually reinforce each other through iterative refinement, ultimately yielding a significant enhancement in the 3D representation capability of the reconstruction model. Additionally, we introduce a geometry-prior-based adaptive ground model to further enhance the rendering quality of the reconstruction model. To validate the effectiveness of the proposed method, we conduct comprehensive evaluations on Waymo, nuScenes, PandaSet, and EUVS benchmarks. Specifically on Waymo, at a 6-m lateral shift, ReconDreamer# improves NTA-IoU and NTL-IoU by 8.8% and 3.0%, respectively, and reduces FID by 15.1% relative to ReconDreamer++.