POP-3D: Open-Vocabulary 3D Occupancy Prediction from Images

📄 arXiv: 2401.09413v1 📥 PDF

作者: Antonin Vobecky, Oriane Siméoni, David Hurych, Spyros Gidaris, Andrei Bursuc, Patrick Pérez, Josef Sivic

分类: cs.CV

发布日期: 2024-01-17

备注: accepted to NeurIPS 2023

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出POP-3D以解决开放词汇3D占用预测问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇 3D占用预测 自监督学习 多模态融合 语义分割 图像处理 LiDAR点云

📋 核心要点

  1. 现有方法在处理2D到3D的转换时面临歧义，且缺乏足够的3D标注数据。
  2. 提出了一种新型模型架构，结合2D-3D编码器和自监督学习，支持开放词汇的3D占用预测。
  3. 在多个开放词汇任务上进行定量评估，展示了模型在零样本3D语义分割等任务中的优越性能。

📝 摘要（中文）

本文描述了一种从输入2D图像预测开放词汇3D语义体素占用图的方法，旨在实现3D基础的分割和自由形式语言查询的检索。该问题具有挑战性，因为2D-3D之间存在歧义，且获取3D标注训练数据困难。本文的贡献主要体现在三个方面：首先，设计了一种新的模型架构，结合了2D-3D编码器和占用预测、3D语言头，输出密集的3D体素图；其次，开发了一种三模态自监督学习算法，利用图像、语言和LiDAR点云三种模态进行训练，无需3D手动语言标注；最后，定量展示了模型在多个开放词汇任务上的优势，包括零样本3D语义分割和自由形式语言查询的3D基础与检索。

🔬 方法详解

问题定义：本文旨在解决从2D图像预测开放词汇3D语义体素占用图的问题。现有方法在2D-3D转换中存在歧义，且缺乏足够的3D标注数据，限制了模型的有效性。

核心思路：论文提出了一种新的模型架构，结合2D-3D编码器与自监督学习算法，利用图像、语言和LiDAR点云三种模态进行训练，避免了对3D手动标注的依赖。

技术框架：整体架构包括一个2D-3D编码器、占用预测头和3D语言头，输出为密集的3D体素图，支持多种开放词汇任务。

关键创新：最重要的技术创新在于设计了一个能够处理开放词汇的3D占用预测模型，并通过三模态自监督学习实现了无标注训练，显著提升了模型的泛化能力。

关键设计：模型采用了强大的预训练视觉-语言模型，损失函数设计为适应多模态输入，网络结构则通过结合不同模态的信息来增强3D语义理解。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的模型在零样本3D语义分割任务中表现优异，使用现有数据集时，模型在多个任务上均超越了基线，展示了显著的性能提升，尤其是在3D基础与自由形式语言查询的检索任务中，表现出色。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等，能够有效支持基于自然语言的3D环境理解与交互。未来，该技术可能推动更智能的交互系统的发展，使得机器能够更好地理解和响应人类的语言指令。

📄 摘要（原文）

We describe an approach to predict open-vocabulary 3D semantic voxel occupancy map from input 2D images with the objective of enabling 3D grounding, segmentation and retrieval of free-form language queries. This is a challenging problem because of the 2D-3D ambiguity and the open-vocabulary nature of the target tasks, where obtaining annotated training data in 3D is difficult. The contributions of this work are three-fold. First, we design a new model architecture for open-vocabulary 3D semantic occupancy prediction. The architecture consists of a 2D-3D encoder together with occupancy prediction and 3D-language heads. The output is a dense voxel map of 3D grounded language embeddings enabling a range of open-vocabulary tasks. Second, we develop a tri-modal self-supervised learning algorithm that leverages three modalities: (i) images, (ii) language and (iii) LiDAR point clouds, and enables training the proposed architecture using a strong pre-trained vision-language model without the need for any 3D manual language annotations. Finally, we demonstrate quantitatively the strengths of the proposed model on several open-vocabulary tasks: Zero-shot 3D semantic segmentation using existing datasets; 3D grounding and retrieval of free-form language queries, using a small dataset that we propose as an extension of nuScenes. You can find the project page here https://vobecant.github.io/POP3D.