RGB-Pointmap Pretraining for Unified 3D Scene Understanding

📄 arXiv: 2604.02546 📥 PDF

作者: Ye Mao, Weixun Luo, Ranran Huang, Junpeng Jing, Krystian Mikolajczyk

分类: cs.CV, cs.LG

发布日期: 2026-07-05

💡 一句话要点

提出UniScene3D以解决统一3D场景理解问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D场景理解 多视角输入 几何对齐 语义对齐 变换器架构 低样本学习 视觉问答

📋 核心要点

  1. 现有方法在3D场景理解中面临多视角输入的几何和语义一致性挑战，导致表示学习效果不佳。
  2. 论文提出的UniScene3D框架通过跨视角几何对齐和基于语义的视角对齐，增强了多视角RGB-Pointmap的表示学习能力。
  3. 在多个任务上进行的实验表明，UniScene3D在视角定位、场景检索等任务上均取得了最先进的性能，展示了其有效性。

📝 摘要（中文）

通过与对比语言-图像预训练（CLIP）的对齐，预训练3D编码器已成为学习可泛化表示的有前景方向。本文提出了UniScene3D，一个基于变换器的框架，通过利用预训练的2D基础模型的先验知识，从多视角RGB-Pointmap输入中学习统一的3D场景表示。为实现稳健的RGB-Pointmap表示学习，我们引入了跨视角几何对齐和基于语义的视角对齐，以确保视角间的几何和语义一致性。通过在视角定位、场景检索、场景分类和3D视觉问答等任务上进行广泛的低样本和任务特定微调，展示了其最先进的性能。这些结果确立了UniScene3D作为统一3D场景理解的有效框架。

🔬 方法详解

问题定义：本文旨在解决多视角输入下3D场景理解中的几何和语义一致性问题。现有方法在处理RGB-Pointmap时，往往无法有效对齐不同视角的信息，导致表示学习效果不理想。

核心思路：UniScene3D框架通过引入跨视角几何对齐和基于语义的视角对齐，确保不同视角间的几何和语义一致性，从而提升3D场景的表示学习能力。

技术框架：该框架基于变换器架构，主要包括输入模块（处理多视角RGB-Pointmap）、对齐模块（实现几何和语义对齐）以及输出模块（生成统一的3D场景表示）。

关键创新：最重要的创新在于引入了跨视角几何对齐和基于语义的视角对齐机制，这与传统方法的单一视角处理方式形成了显著区别，能够更好地捕捉场景的全局信息。

关键设计：在参数设置上，采用了预训练的2D基础模型作为先验知识，损失函数设计上结合了几何对齐损失和语义对齐损失，以确保模型在训练过程中能够有效学习到多视角间的关系。网络结构上，使用了变换器的自注意力机制来增强特征的表达能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个任务上进行的实验表明，UniScene3D在视角定位、场景检索、场景分类和3D视觉问答等任务上均取得了最先进的性能，尤其在低样本学习场景中，性能提升幅度达到了XX%，显著优于现有基线方法。

🎯 应用场景

该研究在自动驾驶、机器人导航、虚拟现实等领域具有广泛的应用潜力。通过提供更准确的3D场景理解，UniScene3D能够提升智能系统在复杂环境中的决策能力，推动相关技术的发展与应用。

📄 摘要（原文）

Pretraining 3D encoders through alignment with Contrastive Language-Image Pre-training (CLIP) has emerged as a promising direction for learning generalizable representations for 3D scene understanding. In this paper, we propose UniScene3D, a transformer-based framework that learns unified 3D scene representations from multi-view RGB-Pointmap inputs by leveraging the priors of a pretrained 2D foundation model. For robust RGB-Pointmap representation learning, we introduce cross-view geometric alignment and grounded view alignment to enforce geometric and semantic consistency across views. Extensive low-shot and task-specific fine-tuning on viewpoint grounding, scene retrieval, scene classification, and 3D visual question answering demonstrates state-of-the-art performance. These results establish UniScene3D as an effective framework for unified 3D scene understanding. Project page:this https URL