InvSplat: Inverse Feed-Forward Scene Splatting
作者: Polina Karpikova, Wenjing Bian, Haofei Xu, Hendrik Lensch, Andreas Geiger
分类: cs.CV
发布日期: 2026-07-05
💡 一句话要点
提出Inverse Feed-Forward Scene Splatting以解决逆渲染中的多视图不一致问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 逆渲染 3D重建 高斯表示 材质恢复 多视图一致性 深度学习 计算机图形学
📋 核心要点
- 现有的逆渲染方法在多视图一致性和3D表示方面存在不足，导致新视角渲染不稳定。
- 本文提出了一种前馈多视图重建框架，能够直接预测结构化的3D高斯表示，结合几何和反射参数的联合预测。
- 实验结果显示，该方法在合成和真实数据集上均表现出更好的多视图一致性和准确的材质恢复。
📝 摘要（中文）
逆渲染旨在从图像中恢复3D几何形状和物理意义上的材质属性，从而实现重光照和新视角合成等应用。现有的基于优化的方法虽然能够实现高保真度，但需要昂贵的逐场景拟合；而基于图像学习的方法常常面临多视图不一致性，并缺乏稳定的新视角渲染的明确3D表示。本文提出了一种前馈多视图重建框架，直接预测具有内在材质属性的结构化3D高斯表示。每个高斯原语通过均值、法线、不透明度、旋转、缩放、反射率、金属度和粗糙度进行参数化，从而实现了一个解耦且物理基础的场景表示。实验表明，与2D基线相比，该方法在多视图一致性、材质恢复和新视角渲染方面均有显著提升。
🔬 方法详解
问题定义：本文旨在解决逆渲染中的多视图不一致性和缺乏明确3D表示的问题。现有方法往往依赖于复杂的优化过程，导致在新视角渲染时的稳定性不足。
核心思路：提出了一种前馈多视图重建框架，直接预测具有内在材质属性的3D高斯表示。通过这种方式，可以在一次前向传播中同时预测几何和反射参数，避免了逐场景拟合的高成本。
技术框架：整体架构包括一个材质估计网络和一个多视图3D重建主干。材质估计网络提供先验信息，主干网络则负责几何和反射参数的联合预测。
关键创新：最重要的技术创新在于引入了结构化的3D高斯表示，使得场景表示更加解耦且物理基础，能够更好地支持重光照和视角依赖效果的建模。
关键设计：高斯原语通过均值、法线、不透明度、旋转、缩放、反射率、金属度和粗糙度进行参数化，设计了合适的损失函数以优化多视图一致性和材质恢复效果。网络结构采用了深度学习框架，确保了高效的前向传播和准确的预测。
🖼️ 关键图片
📊 实验亮点
实验结果显示，本文方法在多视图一致性方面显著优于传统的2D基线，具体表现为在合成和真实数据集上均实现了更高的材质恢复准确性和稳定的新视角渲染。相较于现有的RGB基础前馈重建方法，本文方法在物理基础重光照和视角依赖效果建模上表现出更高的忠实度。
🎯 应用场景
该研究具有广泛的应用潜力，特别是在计算机图形学、虚拟现实和增强现实等领域。通过提供高质量的3D重建和材质属性恢复，该方法可以用于创建更真实的场景渲染和交互式体验，推动相关技术的发展和应用。未来，该技术可能会在影视制作、游戏开发及在线购物等多个行业中发挥重要作用。
📄 摘要（原文）
Inverse rendering aims to recover both 3D geometry and physically meaningful material properties from images, enabling applications such as relighting and novel view synthesis. Optimization-based methods achieve high fidelity but require costly per-scene fitting, while image-space learning-based approaches often suffer from multi-view inconsistencies and lack an explicit 3D representation for stable novel view rendering. We present a feed-forward multi-view reconstruction framework for inverse rendering that directly predicts a structured 3D Gaussian representation with intrinsic material attributes. Each Gaussian primitive is parameterized by mean, normal, opacity, rotation, scale, albedo, metallic, and roughness, enabling a disentangled and physically grounded scene representation. Our model integrates priors from a material estimation network with a multi-view 3D reconstruction backbone, allowing joint prediction of geometry and reflectance parameters in a single forward pass. Experiments on synthetic and real-world datasets demonstrate improved multi-view consistency compared to 2D baselines, accurate material recovery, and stable novel view rendering. Our representation further supports physically-based relighting and more faithful modeling of view-dependent effects compared to existing RGB-based feed-forward reconstruction methods. Our project webpage is: $\href{this https URL}{\text{this https URL}}$.