JOPP-3D: Joint Open Vocabulary Semantic Segmentation on Point Clouds and Panoramas

📄 arXiv: 2603.06168v1 📥 PDF

作者: Sandeep Inuganti, Hideaki Kanayama, Kanta Shimizu, Mahdi Chamseddine, Soichiro Yokota, Didier Stricker, Jason Rambach

分类: cs.CV

发布日期: 2026-03-06

💡 一句话要点

JOPP-3D：联合点云与全景图的开放词汇语义分割框架

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 语义分割 开放词汇 点云 全景图像 视觉-语言模型 跨模态学习 场景理解

📋 核心要点

  1. 现有语义分割模型在3D点云和全景图像等多模态数据上的应用受限于标注数据的稀缺性和固定标签模型的适应性。
  2. JOPP-3D框架通过将全景图像转换为透视图像和点云，提取并对齐视觉-语言特征，实现基于自然语言查询的语义分割。
  3. 实验结果表明，JOPP-3D在Stanford-2D-3D-s和ToF-360数据集上显著提升了开放和封闭词汇的2D和3D语义分割性能。

📝 摘要（中文）

本文提出了一种名为JOPP-3D的开放词汇语义分割框架，该框架联合利用全景图像和点云数据，实现语言驱动的场景理解。该方法将RGB-D全景图像转换为相应的切向透视图像和3D点云，然后使用这些模态提取并对齐基础的视觉-语言特征。这使得能够通过自然语言查询在两种输入模态上生成语义掩码。在Stanford-2D-3D-s和ToF-360数据集上的实验评估表明，JOPP-3D能够生成跨全景和3D域的连贯且具有语义意义的分割。与最先进的方法相比，我们提出的方法在开放和封闭词汇的2D和3D语义分割方面都取得了显著的改进。

🔬 方法详解

问题定义：现有的语义分割方法在处理3D点云和全景图像等多模态数据时，面临着标注数据不足和模型泛化能力有限的挑战。尤其是在开放词汇场景下，模型难以识别和分割训练集中未见过的物体类别。

核心思路：JOPP-3D的核心思路是利用视觉-语言模型强大的zero-shot能力，通过自然语言描述来指导3D点云和全景图像的语义分割。通过将不同模态的数据对齐到统一的特征空间，实现跨模态的语义理解和分割。

技术框架：JOPP-3D框架主要包含以下几个阶段：1) 数据转换：将RGB-D全景图像转换为切向透视图像和3D点云；2) 特征提取：使用预训练的视觉-语言模型（如CLIP）提取图像和点云的视觉特征，以及文本描述的语义特征；3) 特征对齐：将不同模态的特征对齐到统一的特征空间，例如通过跨模态注意力机制；4) 语义分割：根据自然语言查询，生成相应的语义掩码。

关键创新：JOPP-3D的关键创新在于它能够联合利用全景图像和点云数据，实现开放词汇的语义分割。与传统的固定标签模型相比，JOPP-3D能够根据自然语言描述分割任意物体类别，具有更强的泛化能力。此外，该方法通过跨模态特征对齐，实现了不同模态数据之间的信息互补。

关键设计：JOPP-3D的关键设计包括：1) 使用CLIP等预训练的视觉-语言模型提取特征，利用其强大的zero-shot能力；2) 设计跨模态注意力机制，实现不同模态特征的有效融合；3) 采用合适的损失函数，例如对比损失或交叉熵损失，优化模型参数，提高分割精度。具体的参数设置和网络结构细节在论文中进行了详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

JOPP-3D在Stanford-2D-3D-s和ToF-360数据集上进行了评估，实验结果表明，该方法在开放和封闭词汇的2D和3D语义分割方面都取得了显著的改进。与最先进的方法相比，JOPP-3D在多个指标上都取得了明显的提升，证明了其有效性和优越性。具体的性能数据和提升幅度在论文中进行了详细展示（未知）。

🎯 应用场景

JOPP-3D具有广泛的应用前景，例如机器人导航、自动驾驶、虚拟现实和增强现实等领域。该方法能够帮助机器人理解周围环境，实现更智能的交互。在自动驾驶领域，JOPP-3D可以用于识别道路上的各种物体，提高驾驶安全性。在VR/AR领域，该方法可以用于创建更逼真的虚拟场景，增强用户体验。

📄 摘要（原文）

Semantic segmentation across visual modalities such as 3D point clouds and panoramic images remains a challenging task, primarily due to the scarcity of annotated data and the limited adaptability of fixed-label models. In this paper, we present JOPP-3D, an open-vocabulary semantic segmentation framework that jointly leverages panoramic and point cloud data to enable language-driven scene understanding. We convert RGB-D panoramic images into their corresponding tangential perspective images and 3D point clouds, then use these modalities to extract and align foundational vision-language features. This allows natural language querying to generate semantic masks on both input modalities. Experimental evaluation on the Stanford-2D-3D-s and ToF-360 datasets demonstrates the capability of JOPP-3D to produce coherent and semantically meaningful segmentations across panoramic and 3D domains. Our proposed method achieves a significant improvement compared to the SOTA in open and closed vocabulary 2D and 3D semantic segmentation.