LightBridge: Feed-Forward Generative Relighting for 3D Gaussian Splatting

📄 arXiv: 2609.02543v1 📥 PDF

作者: Hezhi Cao, Panhao Cheng, huangsheng du, Qibiao Li, Youcheng Cai, Ligang Liu

分类: cs.GR, eess.IV

发布日期: 2026-09-02

备注: 14pages, 8figures

💡 一句话要点

提出LightBridge以解决3D高斯点云重光照问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯点云 重光照 生成模型 虚拟现实 计算机视觉

📋 核心要点

  1. 现有的3D高斯点云方法在重光照方面存在效率低和质量差的问题，难以满足实际应用需求。
  2. LightBridge通过构建多光照重光照数据集，提出了一种前馈生成框架，实现了对3DGS资产的单次重光照。
  3. 实验结果表明，LightBridge在重光照质量和效率上具有竞争力，能够在不进行场景特定优化的情况下完成完整的重光照预测。

📝 摘要（中文）

3D高斯点云（3DGS）实现了高质量的实时新视角合成，但生成的资产具有固定的光照，难以进行灵活的重光照。现有的逆向渲染方法通过优化简化的反射和光照模型来处理每个场景，导致效率和重光照质量的限制。最近的生成方法利用大型扩散模型进行逼真的光照编辑，但在3DGS中应用时通常需要额外的场景优化阶段。本文提出了LightBridge，一个用于完整3DGS资产可控重光照的前馈生成框架，能够在单次传递中完成重光照。为实现前馈训练，我们构建了一个大规模的多光照重光照数据集，包含相同场景的源和目标观察配对。

🔬 方法详解

问题定义：本文旨在解决3D高斯点云（3DGS）在重光照时的效率低下和质量不足的问题。现有的逆向渲染方法依赖于简化的反射和光照模型，导致重光照效果不佳且需要额外的优化步骤。

核心思路：LightBridge提出了一种前馈生成框架，通过构建多光照重光照数据集，实现对3DGS资产的可控重光照。该方法通过潜在空间中的源到目标传输，避免了迭代扩散采样的复杂性。

技术框架：整体架构包括潜在桥接重光照扩散模型和高斯传播变换器。前者负责在潜在空间中进行重光照传输，后者则通过稀疏的图像到点自注意力和点到图像的交叉注意力高效传播信息。

关键创新：最重要的创新在于通过前馈生成框架实现了对完整3DGS资产的单次重光照，避免了传统方法中必需的场景特定优化。

关键设计：在模型设计中，采用了点变换器结构，结合稀疏自注意力机制，显著提高了计算效率，并且在损失函数的设计上进行了优化，以确保重光照质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LightBridge在重光照质量上与现有方法相比具有竞争力，且在单次预测的效率上显著提升，能够在不进行场景特定优化的情况下完成完整的重光照，展示了其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发和电影制作等需要高质量3D场景重光照的行业。通过提供高效的重光照解决方案，LightBridge能够显著提升3D内容创作的灵活性和效率，推动相关技术的发展和应用。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) achieves high-quality, real-time novel view synthesis, but the resulting assets have baked-in illumination and cannot be easily relit. Inverse rendering methods optimize simplified reflectance and illumination models for each scene, limiting efficiency and relighting quality. Recent generative approaches leverage large diffusion models for realistic lighting edits, but applying them to 3DGS typically requires an additional per-scene optimization stage to bake the edited appearance into the representation. We present LightBridge, a feed-forward generative framework for controllable relighting of complete 3DGS assets in a single pass. To enable feed-forward training, we construct a large-scale Multi-Illumination Relighting Dataset with paired source and target observations of the same scenes. Latent Bridge Relighting Diffusion models relighting as source-to-target transport in latent space, enabling one-step extraction of 2D visual tokens without iterative diffusion sampling. A Gaussian Propagation Transformer uses a point transformer with sparse image-to-point self-attention followed by point-to-image cross-attention to efficiently propagate these cues across the complete 3DGS, while avoiding full attention over all image and Gaussian tokens. Experiments validate these designs, demonstrating competitive relighting quality and efficient single-pass prediction of complete relit 3DGS assets without scene-specific optimization. The code and dataset will be made publicly available upon acceptance.