GraftRay: Physically Based Mesh Insertion into Gaussian Splatting Scenes via Path Tracing
作者: Jinxin Ai, Matthias Niessner
分类: cs.CV, cs.GR
发布日期: 2026-10-27
备注: 8 pages + references, 6 figures, 2 tables
💡 一句话要点
提出GraftRay以解决虚拟物体在高斯点云场景中插入的真实感问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱四：生成式动作 (Generative Motion)
关键词: 高斯点云 虚拟物体插入 路径追踪 渲染保真度 阴影准确性 增强现实 内容创作
📋 核心要点
- 现有方法在虚拟物体插入时无法同时保证多视图一致性和真实的阴影效果，导致渲染质量不足。
- GraftRay通过恢复场景材料和表面法线，并建模空间扩展的发射体，实现了物理一致的网格插入。
- 实验结果表明，GraftRay在渲染保真度和阴影准确性上超越了现有基线，且渲染效率保持竞争力。
📝 摘要（中文）
在通过2D或3D高斯点云重建的场景中插入虚拟物体是内容创作、增强现实和合成数据生成的关键能力。然而，现实的插入要求物体与场景无缝照明，并且能够在场景中投射物理上合理的阴影。现有方法要么在图像空间中协调外观，牺牲多视图一致性，要么使用环境贴图近似场景照明，无法有效表示主导室内照明的近场光源。为了解决这一问题，本文提出了GraftRay，一种统一的方法，用于在由2D或3D高斯表示的室内场景中物理一致地插入网格物体。我们利用扩散基础先验恢复场景材料和表面法线，并显式建模空间扩展的发射体，闭合形式求解其辐射。混合渲染器联合路径追踪场景高斯和插入的网格，产生视图一致的阴影、相互反射和柔和阴影。GraftRay在FIPT上设定了新的状态，超越了ComGS和EAG-PT等近期基线，在渲染保真度和阴影准确性上表现优异，同时保持了高度竞争的渲染效率。
🔬 方法详解
问题定义：本文旨在解决在高斯点云场景中插入虚拟物体时，如何实现物理一致的照明和阴影效果的问题。现有方法往往在图像空间中协调外观，导致多视图一致性不足，或无法有效处理室内复杂光源。
核心思路：GraftRay的核心思路是通过恢复场景的材料和表面法线，并显式建模空间扩展的发射体，来实现高质量的虚拟物体插入。该方法通过路径追踪技术，确保了插入物体与场景之间的光照一致性。
技术框架：GraftRay的整体架构包括几个主要模块：首先，利用扩散基础先验恢复场景材料和法线；其次，建模空间扩展的发射体并求解其辐射；最后，使用混合渲染器联合路径追踪场景高斯和插入的网格，生成最终图像。
关键创新：GraftRay的主要创新在于其能够显式建模空间扩展的发射体，并通过闭合形式求解其辐射，从而实现了更高的渲染保真度和阴影准确性。这与现有方法的环境贴图近似方法形成了鲜明对比。
关键设计：在技术细节上，GraftRay采用了扩散基础先验来恢复材料和法线，设计了适应室内光源的发射体模型，并在混合渲染器中实现了高效的路径追踪算法，以确保渲染效率和质量的平衡。
🖼️ 关键图片
📊 实验亮点
GraftRay在FIPT基准测试中设定了新的性能标准，超越了ComGS和EAG-PT等现有方法，在渲染保真度和阴影准确性方面表现出色。具体而言，GraftRay在阴影质量上提升了显著的准确性，同时保持了高效的渲染速度，展现了其在实际应用中的优势。
🎯 应用场景
GraftRay的研究成果在内容创作、增强现实和合成数据生成等领域具有广泛的应用潜力。通过实现高质量的虚拟物体插入，该技术可以提升用户体验，促进虚拟与现实的融合，推动相关行业的发展。未来，GraftRay可能在游戏、影视制作和建筑可视化等领域发挥重要作用。
📄 摘要（原文）
Inserting virtual objects into scenes reconstructed via 2D or 3D Gaussian Splatting (2DGS/3DGS) is a key capability for content creation, AR, and synthetic data generation. However, realistic insertion requires the object to be seamlessly lit by the scene and, conversely, to cast physically plausible shadows onto it. Existing approaches either harmonize appearance in image space, sacrificing multi-view consistency, or approximate scene illumination with an environment map at the insertion point, which cannot represent near-field area lights such as windows and lamps that dominate indoor lighting. To address this, we present GraftRay, a unified method for physically consistent insertion of mesh objects into indoor scenes represented by either 2D or 3D Gaussians. We recover scene materials and surface normals with diffusion-based priors, and explicitly model spatially-extended emitters, solving their radiance in closed form. A hybrid renderer then jointly path-traces the scene Gaussians and inserted meshes, producing view-consistent shading, interreflections, and soft shadows. On FIPT, GraftRay sets a new state of the art, outperforming recent baselines such as ComGS and EAG-PT in rendering fidelity and shadow accuracy, while maintaining highly competitive rendering efficiency.