SplatMesh: Interactive 3D Segmentation and Editing Using Mesh-Based Gaussian Splatting

📄 arXiv: 2312.15856v3 📥 PDF

作者: Kaichen Zhou, Lanqing Hong, Xinhai Chang, Yingji Zhong, Enze Xie, Hao Dong, Zhihao Li, Yongxin Yang, Zhenguo Li, Wei Zhang

分类: cs.GR, cs.CV

发布日期: 2023-12-26 (更新: 2025-04-14)

🔗 代码/项目: GITHUB

💡 一句话要点

SplatMesh：提出一种基于网格引导的高斯溅射交互式3D分割与编辑方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D编辑 高斯溅射 网格简化 交互式分割 3D重建

📋 核心要点

  1. 现有方法难以在内存约束下，兼顾高质量的视图合成和多样化的3D编辑需求，高斯溅射编辑不稳定，网格渲染质量较低。
  2. SplatMesh的核心思想是利用预计算的简化网格引导高斯溅射，通过编辑网格来间接编辑高斯溅射，从而实现高效的交互式编辑。
  3. 实验结果表明，SplatMesh在表示质量和编辑性能方面优于现有方法，并在真实和合成数据集上验证了其有效性。

📝 摘要（中文）

本文提出SplatMesh，一种新颖的细粒度交互式3D分割与编辑算法，它将3D高斯溅射与预计算网格相结合，并能根据需求调整内存占用。给定一个网格，SplatMesh在满足内存约束的前提下，同时考虑颜色和形状对其进行简化。然后，SplatMesh通过将每个三角形视为新的参考点，使高斯溅射与简化的网格对齐。通过分割和编辑简化的网格，我们可以有效地编辑高斯溅射。在真实和合成数据集上进行了大量实验，并提供了说明性的视觉示例，突出了该方法在表示质量和编辑性能方面的优越性。

🔬 方法详解

问题定义：现有的交互式3D编辑方法难以在高质量视图合成、多样化编辑操作和有限的内存资源之间取得平衡。3D网格虽然在编辑方面表现良好，但视图合成质量不如3D高斯溅射。直接结合两者会导致性能不佳，并且难以满足内存约束。因此，需要一种既能保证高质量渲染，又能支持灵活编辑，同时控制内存占用的表示方法。

核心思路：SplatMesh的核心思路是利用预计算的简化网格来引导3D高斯溅射。通过将高斯溅射与网格对齐，并基于网格进行分割和编辑，可以间接地控制高斯溅射的属性，从而实现高效的交互式编辑。这种方法结合了网格的编辑灵活性和高斯溅射的渲染质量。

技术框架：SplatMesh的整体流程包括以下几个步骤：1) 网格简化：对输入的3D网格进行简化，同时考虑颜色和形状信息，以满足内存约束。2) 高斯溅射对齐：将高斯溅射与简化后的网格对齐，每个三角形的中心作为新的参考点。3) 分割与编辑：基于简化的网格进行分割和编辑操作。4) 高斯溅射更新：根据网格的编辑结果，更新对应的高斯溅射属性，实现3D场景的编辑。

关键创新：SplatMesh的关键创新在于将3D高斯溅射与预计算的简化网格相结合，利用网格的拓扑结构来引导高斯溅射的编辑。与直接编辑高斯溅射相比，基于网格的编辑更加稳定和可控。同时，通过网格简化，可以有效地控制内存占用。

关键设计：网格简化算法需要平衡颜色和形状的保真度，具体的简化策略未知。高斯溅射与网格的对齐方式是将每个三角形的中心作为高斯分布的中心，具体的高斯分布参数（如协方差矩阵）的初始化和优化方法未知。损失函数的设计可能包括渲染损失、形状损失和颜色损失，以保证编辑后的场景在视觉上的一致性。

📊 实验亮点

论文在真实和合成数据集上进行了实验，结果表明SplatMesh在表示质量和编辑性能方面优于现有方法。具体的性能数据和对比基线未知，但论文强调了SplatMesh在视觉效果上的提升，并展示了其在交互式编辑方面的优势。代码已开源，方便复现和进一步研究。

🎯 应用场景

SplatMesh可应用于各种需要交互式3D场景编辑的领域，例如游戏开发、虚拟现实、增强现实、3D内容创作、建筑设计和工业设计等。该方法能够提供高质量的渲染效果和灵活的编辑能力，使用户能够高效地创建和修改3D场景。

📄 摘要（原文）

A key challenge in fine-grained 3D-based interactive editing is the absence of an efficient representation that balances diverse modifications with high-quality view synthesis under a given memory constraint. While 3D meshes provide robustness for various modifications, they often yield lower-quality view synthesis compared to 3D Gaussian Splatting, which, in turn, suffers from instability during extensive editing. A straightforward combination of these two representations results in suboptimal performance and fails to meet memory constraints. In this paper, we introduce SplatMesh, a novel fine-grained interactive 3D segmentation and editing algorithm that integrates 3D Gaussian Splat with a precomputed mesh and could adjust the memory request based on the requirement. Specifically, given a mesh, \method simplifies it while considering both color and shape, ensuring it meets memory constraints. Then, SplatMesh aligns Gaussian splats with the simplified mesh by treating each triangle as a new reference point. By segmenting and editing the simplified mesh, we can effectively edit the Gaussian splats as well, which will lead to extensive experiments on real and synthetic datasets, coupled with illustrative visual examples, highlighting the superiority of our approach in terms of representation quality and editing performance. Code of our paper can be found here: https://github.com/kaichen-z/SplatMesh.