RealityBridge: Bridging Editable 3D Gaussian Splatting Driving Simulations and Real-World Videos

📄 arXiv: 2606.16278v1 📥 PDF

作者: Zhenhua Wu, Yun Pang, Mingkun Chang, Yuwei Ning, Liangzhi Wang, Yi Xiao, Guanbin Li

分类: cs.CV, cs.AI

发布日期: 2026-06-15

💡 一句话要点

提出RealityBridge以解决3D高斯点云视频的Sim-to-Real问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D高斯点云 Sim-to-Real 视频生成 多模态控制 自动驾驶 视觉真实感 时间一致性 深度学习

📋 核心要点

  1. 现有方法在处理3DGS渲染视频时，无法有效消除伪影和提高视觉真实感，导致Sim-to-Real差距显著。
  2. 论文提出RealityBridge框架，利用多模态控制和轻量级GateNet实现自适应条件分配，以改善视频质量。
  3. 实验结果表明，RealityBridge在伪影去除、光照协调和长序列时间一致性方面优于现有方法，显著提升了视频质量。

📝 摘要（中文）

长尾危险场景对于安全导向的自动驾驶至关重要，但难以大规模收集和重现。可编辑的3D高斯点云（3DGS）模拟提供了一种有前景的替代方案，通过重建真实驾驶场景并支持可控场景编辑。然而，编辑后的3DGS渲染视频仍存在显著的Sim-to-Real差距，包括渲染伪影、前景资产退化、不一致的光照和时间闪烁。现有的修复和视频生成方法不足以解决这一任务，因为它们通常无法共同修复3DGS特有的伪影、提高视觉真实感并确保时间一致性。为填补这一空白，我们提出了RealityBridge，一个结构保持和资产感知的Sim-to-Real框架，旨在改善编辑后的3DGS驾驶视频的质量。

🔬 方法详解

问题定义：论文要解决的问题是如何有效缩小编辑后的3D高斯点云（3DGS）渲染视频与真实视频之间的Sim-to-Real差距。现有方法在处理渲染伪影、光照不一致和时间闪烁等问题时表现不足，无法实现高质量的视频修复。

核心思路：论文的核心解决思路是提出RealityBridge框架，结合多模态控制（如渲染视频、前景掩码、边缘图和语义掩码），并通过轻量级的GateNet实现自适应条件分配，以提高视频的真实感和一致性。

技术框架：RealityBridge的整体架构包括数据输入模块（多模态控制）、GateNet模块（自适应条件分配）和视频生成模块（修复和生成高质量视频）。该框架通过针对性训练数据和自回归长视频训练来提升效果。

关键创新：最重要的技术创新点在于引入了结构保持和资产感知的Sim-to-Real框架，能够同时修复3DGS特有的伪影、提高视觉真实感并确保时间一致性，这在现有方法中是缺乏的。

关键设计：关键设计包括针对性训练数据的构建、奖励引导的后训练策略，以及在GateNet中使用的特定网络结构和损失函数，以确保视频生成的高质量和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，RealityBridge在伪影去除方面的性能提升达到了XX%，在光照协调方面的提升为XX%，而在长序列时间一致性方面的改进也显著优于现有基线方法，证明了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶系统的安全性提升、虚拟现实和增强现实中的场景重建，以及影视制作中的视频合成。通过改善3DGS渲染视频的质量，RealityBridge能够为这些领域提供更真实的视觉体验，推动技术的实际应用和发展。

📄 摘要（原文）

Long-tail hazardous scenarios are essential for safety-oriented autonomous driving, yet they are difficult to collect and reproduce at scale. Editable 3D Gaussian Splatting (3DGS) simulation offers a promising alternative by reconstructing real driving scenes and supporting controllable scene editing. However, edited 3DGS-rendered videos still suffer from a significant Sim-to-Real gap, including rendering artifacts, degraded foreground assets, inconsistent illumination, and temporal flickering. Existing restoration and video generation methods are insufficient for this task, as they often fail to jointly repair 3DGS-specific artifacts, improve visual realism, and ensure temporal consistency. To fill this gap, we propose RealityBridge, a structure-preserving and asset-aware Sim-to-Real framework for edited 3DGS driving videos. RealityBridge uses multimodal controls, including rendered videos, foreground masks, edge maps, and semantic masks, together with a lightweight GateNet for adaptive condition allocation across backbone layers. We further construct targeted training data and introduce autoregressive long-video training with reward-guided post-training to improve restoration quality, temporal stability, and hallucination suppression. Extensive experiments on internal and public driving datasets show that RealityBridge outperforms existing methods in artifact removal, illumination harmonization, and long-sequence temporal consistency.