CDSeg: A Renderable Gaussian Carrier for Image-to-3D Label Transfer

📄 arXiv: 2608.05482v1 📥 PDF

作者: Wentao Sun, Yiping Chen, Zhengsen Xu, Jonathan Li, John S. Zelek

分类: cs.CV

发布日期: 2026-08-06

备注: 15 pages, 8 figures

💡 一句话要点

提出CDSeg以解决图像到3D标签转移问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 图像到3D转换 高斯原语 标签转移 跨域分割 深度学习

📋 核心要点

  1. 现有方法在图像到3D标签转移中面临挑战，无法有效确定标签在3D空间中的持久性。
  2. CDSeg通过高斯原语作为标签载体，利用外部掩码源和渲染器的可见性，实现无需特定3D分割训练的标签转移。
  3. 在DesktopObjects-360、NeRDS-360和ScanNet-v2数据集上，CDSeg分别获得92.35%、95.89%和65.77%的mIoU，展示了其优越性能。

📝 摘要（中文）

现代图像模型提供了关于每个视图中应分割内容的强大线索，但其掩码并不能确定这些标签在3D空间中的持久位置。本文提出了跨域分割方法CDSeg，通过高斯原语作为可渲染的标签载体，实现无需特定任务的3D分割训练。外部掩码源提供标签，而渲染器派生的可见性决定哪些3D原语接收这些标签。CDSeg在渲染过程中记录像素与原语的关联，并通过投票和局部过滤融合多视图掩码。最终生成的标签可以返回到原始点、保留在高斯场景中或渲染到其他视图中。CDSeg支持可提示、自动实例、语义和LiDAR设置，并能在几秒内处理数百万个原语。

🔬 方法详解

问题定义：本文旨在解决图像到3D标签转移中的标签持久性问题。现有方法通常依赖于特定任务的3D分割训练，限制了其通用性和灵活性。

核心思路：CDSeg的核心思路是利用高斯原语作为可渲染的标签载体，通过外部掩码源提供标签，并依赖渲染器的可见性来确定标签的分配，从而实现高效的标签转移。

技术框架：CDSeg的整体架构包括输入点的高斯化、像素-原语关联记录、多视图掩码融合等模块。首先，将输入点转换为高斯原语，然后在渲染过程中记录关联信息，最后通过投票和局部过滤融合多视图信息。

关键创新：CDSeg的主要创新在于其无需特定任务的3D分割网络，能够在多种场景下灵活应用，显著提高了标签转移的效率和准确性。

关键设计：在设计中，CDSeg采用了高斯原语的优化场景，确保了标签的准确分配，并通过局部过滤和投票机制提升了多视图融合的效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CDSeg在多个数据集上表现出色，DesktopObjects-360上获得92.35%的mIoU，NeRDS-360上达到95.89%，ScanNet-v2的全量验证集上也取得了65.77%的mIoU，展示了其在标签转移任务中的强大能力和高效性。

🎯 应用场景

CDSeg在自动驾驶、机器人导航和增强现实等领域具有广泛的应用潜力。其能够快速有效地将2D语义标签转移到3D场景中，为多模态数据处理提供了新的思路，未来可能推动相关技术的发展和应用。

📄 摘要（原文）

Modern image models provide strong cues about \emph{what} should be segmented in each view, but their masks do not by themselves determine \emph{where} those labels should persist in 3D. We present Cross-Domain Segmentation via Gaussian Splatting (CDSeg), a label-transfer interface that requires no task-specific 3D segmentation training and uses Gaussian primitives as a renderable label carrier. An external mask source supplies the labels, while renderer-derived visibility determines which 3D primitives receive them. The carrier is instantiated either by completing each input point into one Gaussian, preserving its index, or by reusing the native primitives of an optimized Gaussian scene. CDSeg records pixel--primitive associations during rendering and fuses multi-view masks through voting and a local filter. The resulting labels can be returned to the original points, retained on the native Gaussian scene, or rendered into other views. CDSeg covers promptable, automatic instance, semantic, and LiDAR settings and processes scenes with millions of primitives in seconds. It obtains 92.35\% mIoU on DesktopObjects-360, 95.89\% on NeRDS-360, and 65.77\% on the full ScanNet-v2 validation split using the provided 2D semantic annotations. CDSeg thereby provides one interface for reusing 2D masks across point clouds, Gaussian scenes, and image views without a task-specific 3D segmentation network.