DeMapGS: Simultaneous Mesh Deformation and Surface Attribute Mapping via Gaussian Splatting

📄 arXiv: 2512.10572v1 📥 PDF

作者: Shuyi Zhou, Shengze Zhong, Kenshi Takayama, Takafumi Taketomi, Takeshi Oishi

分类: cs.GR

发布日期: 2025-12-11

备注: Project page see https://shuyizhou495.github.io/DeMapGS-project-page/

DOI: 10.1145/3757377.3763860

💡 一句话要点

DeMapGS：基于高斯溅射的同时进行网格变形和表面属性映射

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知 (Perception & SLAM)

关键词: 高斯溅射 网格变形 表面属性映射 三维重建 可变形模板 梯度扩散 渲染优化

📋 核心要点

  1. 传统高斯溅射方法独立处理点，导致拓扑不一致和编辑灵活性不足，限制了其应用。
  2. DeMapGS通过将高斯溅射锚定到可变形模板网格，实现表面变形和属性映射的联合优化。
  3. 实验表明，DeMapGS在网格重建质量上达到SOTA，并支持编辑和跨对象操作等下游应用。

📝 摘要（中文）

我们提出了DeMapGS，一个结构化的高斯溅射框架，它联合优化可变形表面和表面附着的2D高斯溅射。通过将splat锚定到可变形的模板网格，我们的方法克服了拓扑不一致性，并增强了编辑灵活性，解决了先前高斯溅射方法将点独立对待的局限性。我们方法中的统一表示支持提取高保真漫反射、法线和位移贴图，使重建的网格能够继承高斯溅射的逼真渲染质量。为了支持鲁棒的优化，我们引入了一种梯度扩散策略，该策略在表面上传播监督信息，以及一种交替的2D/3D渲染方案来处理凹区域。实验表明，DeMapGS实现了最先进的网格重建质量，并支持高斯溅射的下游应用，例如通过共享参数化表面进行编辑和跨对象操作。

🔬 方法详解

问题定义：现有基于高斯溅射的三维重建方法，通常将高斯点云作为独立的图元进行优化，缺乏结构化的约束，导致重建结果在拓扑结构上可能存在不一致性，并且难以进行编辑和操控。此外，如何将高斯溅射的逼真渲染质量迁移到传统的网格表示上也是一个挑战。

核心思路：DeMapGS的核心思想是将高斯溅射与可变形的模板网格相结合，通过将高斯splat锚定到网格表面，利用网格的拓扑结构来约束高斯splat的分布，从而保证重建结果的拓扑一致性。同时，通过优化网格的变形和表面属性映射，可以将高斯溅射的渲染质量迁移到网格表面。

技术框架：DeMapGS的整体框架包括以下几个主要步骤：1) 初始化一个可变形的模板网格；2) 将高斯splat锚定到网格表面；3) 联合优化网格的变形和表面属性映射（包括漫反射、法线和位移贴图）；4) 使用优化后的网格和表面属性进行渲染。为了处理凹区域，采用了交替的2D/3D渲染方案。

关键创新：DeMapGS的关键创新在于：1) 提出了一个结构化的高斯溅射框架，将高斯splat与可变形网格相结合，克服了拓扑不一致性问题；2) 实现了表面变形和属性映射的联合优化，可以将高斯溅射的渲染质量迁移到网格表面；3) 引入了梯度扩散策略和交替的2D/3D渲染方案，提高了优化的鲁棒性。

关键设计：梯度扩散策略通过在网格表面传播监督信息，使得优化过程更加稳定。交替的2D/3D渲染方案通过在2D图像空间和3D空间之间交替进行渲染，可以有效地处理凹区域的遮挡问题。损失函数包括渲染损失、几何损失和正则化项，用于约束网格的变形和表面属性映射。

📊 实验亮点

实验结果表明，DeMapGS在网格重建质量上达到了最先进水平。与现有方法相比，DeMapGS能够生成更加逼真、拓扑一致的三维模型。此外，DeMapGS还支持编辑和跨对象操作等下游应用，展示了其强大的功能和灵活性。具体的性能数据和对比基线在论文中有详细的展示。

🎯 应用场景

DeMapGS具有广泛的应用前景，例如：三维重建、虚拟现实、增强现实、游戏开发、数字资产创建等。通过DeMapGS，可以快速生成高质量的三维模型，并方便地进行编辑和操控。此外，DeMapGS还可以用于跨对象操作，例如将一个对象的纹理迁移到另一个对象上，从而实现更加逼真的渲染效果。未来，DeMapGS有望成为三维内容创作的重要工具。

📄 摘要（原文）

We propose DeMapGS, a structured Gaussian Splatting framework that jointly optimizes deformable surfaces and surface-attached 2D Gaussian splats. By anchoring splats to a deformable template mesh, our method overcomes topological inconsistencies and enhances editing flexibility, addressing limitations of prior Gaussian Splatting methods that treat points independently. The unified representation in our method supports extraction of high-fidelity diffuse, normal, and displacement maps, enabling the reconstructed mesh to inherit the photorealistic rendering quality of Gaussian Splatting. To support robust optimization, we introduce a gradient diffusion strategy that propagates supervision across the surface, along with an alternating 2D/3D rendering scheme to handle concave regions. Experiments demonstrate that DeMapGS achieves state-of-the-art mesh reconstruction quality and enables downstream applications for Gaussian splats such as editing and cross-object manipulation through a shared parametric surface.