TR-Gaussians: High-fidelity Real-time Rendering of Planar Transmission and Reflection with 3D Gaussian Splatting

📄 arXiv: 2511.13009v1 📥 PDF

作者: Yong Liu, Keyang Ye, Tianjia Shao, Kun Zhou

分类: cs.GR, cs.CV

发布日期: 2025-11-17

备注: 15 pages, 12 figures

💡 一句话要点

提出TR-Gaussians，用于平面透射与反射的高保真实时渲染

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 3D高斯溅射 神经渲染 平面反射 平面透射 实时渲染 新视角合成 菲涅尔方程

📋 核心要点

  1. 现有方法难以对室内场景中常见的平面透射和反射现象进行高保真建模和实时渲染。
  2. TR-Gaussians结合3D高斯和可学习反射平面，显式建模玻璃表面的视角相关反射特性，实现透射和反射的精确合成。
  3. 实验表明，TR-Gaussians在多个数据集上实现了实时高保真渲染，并在定量和定性上超越了现有技术。

📝 摘要（中文）

本文提出了一种基于3D高斯的新颖表示方法，称为透射-反射高斯（TR-Gaussians），用于对室内场景中普遍存在的平面透射和反射进行高保真渲染。该方法将3D高斯与可学习的反射平面相结合，显式地对具有视角相关反射强度的玻璃平面进行建模。真实场景和透射分量由3D高斯建模，反射分量由相对于反射平面的镜像高斯建模。透射和反射分量根据基于菲涅尔的视角相关加权方案进行混合，从而能够在不同视角下忠实地合成复杂的视觉效果。为了有效地优化TR-Gaussians，我们开发了一个多阶段优化框架，结合了颜色和几何约束以及不透明度扰动机制。在不同数据集上的实验表明，TR-Gaussians在具有平面透射和反射的场景中实现了实时、高保真度的新视角合成，并且在定量和定性方面均优于最先进的方法。

🔬 方法详解

问题定义：现有方法在处理包含平面透射和反射的场景时，难以实现高保真和实时的渲染。尤其是在室内环境中，玻璃、镜子等材质的透射和反射效果复杂，传统的基于网格或体素的方法难以准确捕捉这些效果，并且渲染效率较低。因此，如何高效且准确地建模和渲染这些效果是一个重要的挑战。

核心思路：TR-Gaussians的核心思路是将场景表示为3D高斯分布的集合，并引入可学习的反射平面来显式地建模平面反射和透射。通过将真实场景和透射分量表示为3D高斯，并将反射分量表示为相对于反射平面的镜像高斯，可以有效地捕捉复杂的视觉效果。此外，使用基于菲涅尔的视角相关加权方案来混合透射和反射分量，从而实现更真实的渲染效果。

技术框架：TR-Gaussians的整体框架包括以下几个主要阶段：1) 初始化3D高斯分布；2) 引入可学习的反射平面；3) 根据菲涅尔方程计算视角相关的透射和反射权重；4) 将透射和反射分量进行混合；5) 通过多阶段优化框架，结合颜色和几何约束以及不透明度扰动机制，优化3D高斯和反射平面的参数。

关键创新：TR-Gaussians的关键创新在于：1) 显式地使用可学习的反射平面来建模平面反射和透射，避免了传统方法中对复杂光照效果的简化；2) 使用基于菲涅尔的视角相关加权方案来混合透射和反射分量，从而实现更真实的渲染效果；3) 提出了一个多阶段优化框架，有效地优化了3D高斯和反射平面的参数。

关键设计：TR-Gaussians的关键设计包括：1) 使用3D高斯作为场景表示，可以实现高效的渲染；2) 使用可学习的反射平面，可以灵活地建模不同材质的反射特性；3) 多阶段优化框架包括颜色损失、深度损失和正则化项，以确保渲染结果的准确性和平滑性；4) 不透明度扰动机制用于避免优化过程中的局部最优解。

📊 实验亮点

实验结果表明，TR-Gaussians在合成具有平面透射和反射的场景时，能够实现实时（>30 FPS）的高保真渲染。在定量评估方面，TR-Gaussians在PSNR、SSIM和LPIPS等指标上均优于现有的SOTA方法，例如NeRF和3D Gaussian Splatting。在定性评估方面，TR-Gaussians能够更准确地捕捉平面透射和反射效果，生成更逼真的图像。

🎯 应用场景

TR-Gaussians在虚拟现实、增强现实、游戏开发等领域具有广泛的应用前景。它可以用于创建更逼真的室内场景，提高用户体验。例如，在VR游戏中，可以利用TR-Gaussians来渲染逼真的玻璃窗户和镜子，增强沉浸感。此外，该技术还可以应用于室内设计和建筑可视化，帮助设计师更好地展示设计方案。

📄 摘要（原文）

We propose Transmission-Reflection Gaussians (TR-Gaussians), a novel 3D-Gaussian-based representation for high-fidelity rendering of planar transmission and reflection, which are ubiquitous in indoor scenes. Our method combines 3D Gaussians with learnable reflection planes that explicitly model the glass planes with view-dependent reflectance strengths. Real scenes and transmission components are modeled by 3D Gaussians and the reflection components are modeled by the mirrored Gaussians with respect to the reflection plane. The transmission and reflection components are blended according to a Fresnel-based, view-dependent weighting scheme, allowing for faithful synthesis of complex appearance effects under varying viewpoints. To effectively optimize TR-Gaussians, we develop a multi-stage optimization framework incorporating color and geometry constraints and an opacity perturbation mechanism. Experiments on different datasets demonstrate that TR-Gaussians achieve real-time, high-fidelity novel view synthesis in scenes with planar transmission and reflection, and outperform state-of-the-art approaches both quantitatively and qualitatively.