G2P: Gaussian-to-Point Attribute Alignment for Boundary-Aware 3D Semantic Segmentation

📄 arXiv: 2601.03510v1 📥 PDF

作者: Hojun Song, Chae-yeong Song, Jeong-hun Hong, Chaewon Moon, Dong-hwi Kim, Gahyeon Kim, Soo Ye Kim, Yiyi Liao, Jaehyup Lee, Sang-hyo Park

分类: cs.CV

发布日期: 2026-01-07

备注: Preprint. Under review

💡 一句话要点

提出G2P，通过高斯到点的属性对齐实现边界感知的3D语义分割

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 点云语义分割 3D高斯溅射 属性传递 外观信息 边界感知

📋 核心要点

  1. 现有点云语义分割方法难以区分外观差异大但几何形状相似的物体，因为点云的稀疏性导致外观信息不足。
  2. G2P方法将3D高斯溅射的外观属性传递到点云，利用高斯不透明度和尺度属性解决几何模糊性和边界定位问题。
  3. 实验表明，G2P在标准数据集上表现优异，尤其在几何挑战性类别上提升显著，且无需额外的2D或语言监督。

📝 摘要（中文）

点云语义分割对于3D场景理解至关重要。然而，稀疏和不规则的点分布提供的外观信息有限，使得仅依赖几何特征难以区分形状相似但外观（例如颜色、纹理、材质）不同的对象。我们提出了Gaussian-to-Point (G2P)方法，将具有外观信息的属性从3D高斯溅射传递到点云，以实现更具区分性和外观一致性的分割。我们的G2P通过建立点对点的对应关系，解决了优化后的高斯分布与原始点几何结构之间的不对齐问题。通过利用高斯不透明度属性，我们解决了限制现有模型的几何模糊性。此外，高斯尺度属性能够在复杂的3D场景中实现精确的边界定位。大量实验表明，我们的方法在标准基准测试中取得了优异的性能，并在几何上具有挑战性的类别上显示出显著的改进，所有这些都不需要任何2D或语言监督。

🔬 方法详解

问题定义：现有的点云语义分割方法在处理外观信息不足的情况下，难以有效区分几何形状相似但外观属性（如颜色、纹理、材质）不同的物体。稀疏和不规则的点云分布限制了外观信息的获取，导致仅依赖几何特征的方法性能受限。此外，几何模糊性和精确边界定位也是现有方法面临的挑战。

核心思路：G2P的核心思路是将3D高斯溅射（Gaussian Splatting）中包含的外观属性（如颜色、不透明度、尺度）传递到点云，从而增强点云的表达能力。通过建立高斯分布与点云之间的对应关系，将高斯分布中学习到的外观信息赋予点云，使其能够更好地区分不同外观的物体。

技术框架：G2P方法主要包含以下几个阶段：1) 使用3D高斯溅射对场景进行重建，得到优化后的高斯分布；2) 建立高斯分布与原始点云之间的点对点对应关系，解决高斯分布与原始点云几何结构之间的不对齐问题；3) 将高斯分布的外观属性（颜色、不透明度、尺度）传递到对应的点云；4) 使用增强后的点云特征进行语义分割。

关键创新：G2P的关键创新在于利用3D高斯溅射作为外观信息的来源，并设计了一种有效的高斯到点的属性传递机制。与现有方法相比，G2P无需额外的2D或语言监督，即可有效利用外观信息，提高语义分割的准确性。此外，利用高斯不透明度属性解决了几何模糊性问题，利用高斯尺度属性实现了精确的边界定位。

关键设计：G2P的关键设计包括：1) 点对点对应关系的建立方法，例如使用最近邻搜索或基于特征匹配的方法；2) 属性传递的方式，例如直接复制或加权平均；3) 如何在高斯分布和点云之间进行坐标转换；4) 如何将传递后的属性与原始点云特征进行融合，例如使用拼接或注意力机制。

📊 实验亮点

G2P方法在S3DIS和ScanNetV2等标准数据集上取得了显著的性能提升。尤其是在几何形状相似但外观不同的类别上，G2P的提升幅度更为明显。实验结果表明，G2P能够有效利用外观信息，提高点云语义分割的准确性，且无需额外的2D或语言监督。

🎯 应用场景

G2P方法在自动驾驶、机器人导航、城市建模等领域具有广泛的应用前景。它可以提高3D场景理解的准确性，从而提升自动驾驶系统的安全性，增强机器人对环境的感知能力，并为城市规划和管理提供更精确的数据支持。未来，G2P可以与其他模态的信息（如图像、文本）进行融合，进一步提升3D场景理解的性能。

📄 摘要（原文）

Semantic segmentation on point clouds is critical for 3D scene understanding. However, sparse and irregular point distributions provide limited appearance evidence, making geometry-only features insufficient to distinguish objects with similar shapes but distinct appearances (e.g., color, texture, material). We propose Gaussian-to-Point (G2P), which transfers appearance-aware attributes from 3D Gaussian Splatting to point clouds for more discriminative and appearance-consistent segmentation. Our G2P address the misalignment between optimized Gaussians and original point geometry by establishing point-wise correspondences. By leveraging Gaussian opacity attributes, we resolve the geometric ambiguity that limits existing models. Additionally, Gaussian scale attributes enable precise boundary localization in complex 3D scenes. Extensive experiments demonstrate that our approach achieves superior performance on standard benchmarks and shows significant improvements on geometrically challenging classes, all without any 2D or language supervision.