Intrinsic 4D Gaussian Segmentation from Scene Cues
作者: Hasan Yazar, Mohamed Rayan Barhdadi, Erchin Serpedin, Mehmet Tuncel, Hasan Kurban
分类: cs.CV, eess.IV
发布日期: 2026-06-17
备注: 15 pages, 4 figures, 7 tables. Includes supplementary material. Preprint
💡 一句话要点
提出Intrinsic-GS以解决动态场景分割问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 动态场景分割 高斯表示 无监督学习 亲和图 计算机视觉 虚拟现实 增强现实
📋 核心要点
- 现有方法依赖外部2D掩膜进行动态场景分割，成本高且结果受掩膜质量影响大。
- 本文提出Intrinsic-GS，通过高斯原语自身的特征构建稀疏亲和图，实现无掩膜分割。
- 在Neu3D和HyperNeRF基准上，Intrinsic-GS分别达到0.746和0.575的mIoU，且速度显著提升。
📝 摘要（中文）
动态4D高斯点云重建技术在高保真度下重建变形场景，并逐渐被用于动态3D场景的表示。为了实现对这些场景的编辑、操作或运动分析，首先需要对其进行分割，将高斯原语分组为一致的对象。现有方法依赖于从基础模型导入2D掩膜并将其提升为高斯表示，这在动态场景中成本高且结果依赖于外部掩膜的质量。本文提出了Intrinsic-GS，一种无训练、无掩膜的方法，通过外观、方向、尺度、变形轨迹和未学习的渲染边界线索构建稀疏亲和图。实验表明，该方法在标准4D高斯分割基准上取得了显著的对象结构恢复效果，且速度比掩膜监督管道快12.5倍。
🔬 方法详解
问题定义：本文旨在解决动态场景分割中的高成本和对外部掩膜依赖的问题。现有方法需要生成2D掩膜并将其提升为高斯表示，导致效率低下和结果不稳定。
核心思路：提出Intrinsic-GS方法，通过高斯原语自身的特征（如外观、方向、尺度等）构建稀疏亲和图，从而实现无掩膜的分割。该方法不依赖于外部模型，降低了复杂性和成本。
技术框架：整体框架包括高斯原语的特征提取、稀疏亲和图的构建和基于Leiden社区检测的图分割。每个模块相互独立，确保了方法的灵活性和高效性。
关键创新：最重要的创新在于无需外部掩膜和训练，通过高斯原语自身的特征实现分割，显著提高了分割的速度和准确性。
关键设计：在构建稀疏亲和图时，使用了多种非学习的线索，如变形轨迹和渲染边界，确保了图的有效性和分割的准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Intrinsic-GS在Neu3D基准上达到0.746的mIoU，在HyperNeRF上达到0.575，且在Neu3D上，几何仅变体达到0.902的mIoU，匹配了SAM监督的TRASE。此外，该方法在HyperNeRF上运行速度比掩膜生成和特征渲染阶段快12.5倍，显示出显著的效率提升。
🎯 应用场景
该研究的潜在应用领域包括动态场景的编辑、虚拟现实、增强现实以及机器人视觉等。通过提供一种快速且无掩膜的分割方法，能够在外部掩膜不可靠或成本高昂的情况下，提升3D和4D场景的处理效率，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Dynamic 4D Gaussian Splatting reconstructs deforming scenes with high fidelity and is increasingly adopted as a representation for dynamic 3D scenes. Putting such a scene to use, for editing, manipulation or motion analysis, first requires segmenting it: grouping the Gaussian primitives into coherent objects. Current pipelines obtain this grouping by importing 2D masks from foundation models such as SAM and lifting or distilling them into the Gaussian representation. In dynamic scenes these masks must be generated across many frames and views, which is costly, and the resulting segmentation can depend strongly on the quality and consistency of those external masks. We ask how much object-level structure can instead be recovered from the Gaussians themselves, and propose Intrinsic-GS, a training-free, mask-free method that builds a sparse affinity graph over Gaussian primitives from appearance, orientation, scale, deformation-trajectory and non-learned rendered-boundary cues. The graph is partitioned with Leiden community detection, requiring no foundation model and no learned feature field. On the standard 4D Gaussian segmentation benchmarks, Neu3D and HyperNeRF, Intrinsic-GS recovers substantial object structure without mask supervision, reaching 0.746 mIoU on Neu3D and 0.575 on HyperNeRF; on Neu3D, a geometry-only variant reaches 0.902 mIoU, matching SAM-supervised TRASE. On HyperNeRF, Intrinsic-GS runs 12.5x faster than the mask-generation and feature-rendering stages used by mask-supervised pipelines. These results suggest that much of the segmentation signal is already encoded in the Gaussians themselves, offering a fast, mask-free direction for 3D and 4D Gaussian segmentation that may also point toward more generalizable, robust segmentation in settings where external masks are unreliable or expensive.