POMA-3D: The Point Map Way to 3D Scene Understanding

📄 arXiv: 2511.16567v2 📥 PDF

作者: Ye Mao, Weixun Luo, Ranran Huang, Junpeng Jing, Krystian Mikolajczyk

分类: cs.CV

发布日期: 2025-11-20 (更新: 2025-11-21)

备注: 11 pages, 6 tables, 5 figures

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

POMA-3D：提出基于点图的自监督3D场景理解模型，提升多项下游任务性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知 (Perception & SLAM)

关键词: 3D场景理解 点图表示 自监督学习 预训练模型 几何表示

📋 核心要点

  1. 现有3D表示学习缺乏有效的预训练方法和大规模数据集，限制了模型性能。
  2. POMA-3D利用点图将3D信息编码为2D结构，并设计视角对齐策略和联合嵌入预测架构。
  3. 实验表明，POMA-3D在3D问答、导航等任务上表现出色，验证了其作为通用3D骨干网络的潜力。

📝 摘要（中文）

本文提出POMA-3D，首个从点图学习的自监督3D表示模型。点图在结构化的2D网格上编码显式的3D坐标，保留全局3D几何信息，同时兼容2D基础模型的输入格式。为了将丰富的2D先验知识迁移到POMA-3D中，设计了一种视角到场景的对齐策略。此外，由于点图相对于规范空间是视角相关的，我们引入POMA-JEPA，一种联合嵌入-预测架构，用于在多个视角上强制执行几何一致的点图特征。同时，我们构建了ScenePoint数据集，包含6.5K个房间级RGB-D场景和1M个2D图像场景，以促进大规模POMA-3D预训练。实验表明，POMA-3D可以作为专家和通用3D理解的强大骨干网络，并能提升包括3D问答、具身导航、场景检索和具身定位等多种任务的性能，所有这些都仅使用几何输入（即3D坐标）。总而言之，POMA-3D探索了一种基于点图的3D场景理解方法，解决了3D表示学习中预训练先验知识匮乏和数据有限的问题。

🔬 方法详解

问题定义：现有的3D场景理解方法面临着两个主要问题：一是缺乏有效的预训练模型，导致模型需要从头开始学习，效率低下；二是3D数据的获取成本高昂，导致训练数据不足，模型泛化能力受限。因此，如何利用有限的3D数据，学习到通用的、可迁移的3D表示，是当前3D场景理解领域的一个重要挑战。

核心思路：POMA-3D的核心思路是将3D点云数据转换为2D点图表示，从而能够利用在2D图像领域预训练的强大模型。通过将3D坐标映射到2D网格上，保留了3D场景的几何信息，同时使得模型能够利用2D卷积神经网络进行特征提取。此外，为了解决点图的视角依赖性问题，论文提出了视角对齐策略和联合嵌入预测架构，以保证模型学习到的特征具有视角不变性。

技术框架：POMA-3D的整体框架包括三个主要部分：点图生成、特征提取和联合嵌入预测。首先，将3D点云数据投影到多个视角，生成对应的点图。然后，使用2D卷积神经网络（例如，Vision Transformer）从点图中提取特征。最后，通过POMA-JEPA架构，利用多个视角的点图特征进行联合嵌入预测，从而学习到具有视角不变性的3D表示。

关键创新：POMA-3D的关键创新在于以下几点：一是提出了点图表示，将3D数据转换为2D结构，从而能够利用2D预训练模型；二是设计了视角对齐策略和POMA-JEPA架构，解决了点图的视角依赖性问题；三是构建了大规模的ScenePoint数据集，为3D表示学习提供了充足的训练数据。与现有方法相比，POMA-3D能够学习到更通用的、可迁移的3D表示，从而在各种下游任务上取得更好的性能。

关键设计：在点图生成过程中，需要选择合适的投影方式和分辨率，以保证点图能够有效地保留3D几何信息。在POMA-JEPA架构中，使用了InfoNCE损失函数来训练模型，鼓励模型学习到具有视角不变性的特征。此外，论文还探索了不同的网络结构和参数设置，以优化模型的性能。

📊 实验亮点

实验结果表明，POMA-3D在3D问答、具身导航、场景检索和具身定位等多个任务上取得了显著的性能提升。例如，在3D问答任务中，POMA-3D相比于现有方法取得了超过5%的性能提升。此外，POMA-3D在ScenePoint数据集上的预训练能够有效地提升模型在其他数据集上的泛化能力。

🎯 应用场景

POMA-3D在机器人导航、自动驾驶、虚拟现实等领域具有广泛的应用前景。它可以用于提升机器人在复杂环境中的感知能力，帮助自动驾驶车辆更好地理解周围环境，并为虚拟现实应用提供更逼真的3D场景表示。此外，POMA-3D还可以用于3D场景检索、3D问答等任务，为用户提供更智能化的服务。

📄 摘要（原文）

In this paper, we introduce POMA-3D, the first self-supervised 3D representation model learned from point maps. Point maps encode explicit 3D coordinates on a structured 2D grid, preserving global 3D geometry while remaining compatible with the input format of 2D foundation models. To transfer rich 2D priors into POMA-3D, a view-to-scene alignment strategy is designed. Moreover, as point maps are view-dependent with respect to a canonical space, we introduce POMA-JEPA, a joint embedding-predictive architecture that enforces geometrically consistent point map features across multiple views. Additionally, we introduce ScenePoint, a point map dataset constructed from 6.5K room-level RGB-D scenes and 1M 2D image scenes to facilitate large-scale POMA-3D pretraining. Experiments show that POMA-3D serves as a strong backbone for both specialist and generalist 3D understanding. It benefits diverse tasks, including 3D question answering, embodied navigation, scene retrieval, and embodied localization, all achieved using only geometric inputs (i.e., 3D coordinates). Overall, our POMA-3D explores a point map way to 3D scene understanding, addressing the scarcity of pretrained priors and limited data in 3D representation learning. Project Page: https://matchlab-imperial.github.io/poma3d/