OV-NeRF: Open-vocabulary Neural Radiance Fields with Vision and Language Foundation Models for 3D Semantic Understanding

📄 arXiv: 2402.04648v2 📥 PDF

作者: Guibiao Liao, Kaichen Zhou, Zhenyu Bao, Kanglin Liu, Qing Li

分类: cs.CV

发布日期: 2024-02-07 (更新: 2024-09-21)

备注: IEEE TCSVT 2024: https://ieeexplore.ieee.org/document/10630553

🔗 代码/项目: GITHUB

💡 一句话要点

提出OV-NeRF以解决开放词汇3D语义感知问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 神经辐射场 开放词汇 3D语义感知 视觉语言模型 区域语义排序 跨视图自增强 深度学习

📋 核心要点

  1. 现有方法在从CLIP提取语义时，面临噪声和视角不一致的问题，影响了3D语义感知的准确性。
  2. OV-NeRF通过引入区域语义排序正则化和跨视图自增强策略，提升了语义场学习的准确性和一致性。
  3. 实验结果显示，OV-NeRF在多个基准数据集上超越了现有最先进的方法，验证了其有效性和鲁棒性。

📝 摘要（中文）

神经辐射场（NeRF）的发展为3D场景的几何和外观特征提供了强大的表示能力。最近的研究集中在增强NeRF在开放词汇3D语义感知任务中的能力。然而，现有方法直接从对比语言-图像预训练（CLIP）中提取语义时，面临着由CLIP提供的噪声和视角不一致的语义带来的困难。为了解决这些限制，我们提出了OV-NeRF，利用预训练的视觉和语言基础模型，通过单视图和跨视图策略增强语义场学习。实验结果表明，OV-NeRF在Replica和ScanNet数据集上分别在mIoU指标上显著提升了20.31%和18.42%。

🔬 方法详解

问题定义：本论文旨在解决开放词汇3D语义感知中的语义提取问题，现有方法在使用CLIP提取语义时，面临噪声和视角不一致的挑战。

核心思路：OV-NeRF通过引入区域语义排序（RSR）正则化和跨视图自增强（CSE）策略，利用预训练的视觉和语言模型来提升语义场的学习效果，旨在减少语义提取中的模糊性和不一致性。

技术框架：OV-NeRF的整体架构包括两个主要模块：单视图的区域语义排序正则化模块和跨视图的自增强模块。前者通过2D掩码提案来校正训练视图的语义，后者则利用3D一致语义进行训练。

关键创新：本研究的关键创新在于提出了RSR和CSE策略，前者通过2D掩码校正噪声语义，后者通过3D一致语义提升不同视图间的语义一致性，这与现有方法直接依赖CLIP的2D语义提取形成了鲜明对比。

关键设计：在参数设置上，使用了来自Segment Anything（SAM）的2D掩码提案，并设计了特定的损失函数以优化语义一致性，网络结构则基于现有的NeRF框架进行扩展。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

OV-NeRF在Replica和ScanNet数据集上分别实现了20.31%和18.42%的mIoU提升，显著超越了现有最先进的方法。此外，该方法在不同CLIP配置下均表现出一致的优越性，验证了其鲁棒性和适应性。

🎯 应用场景

OV-NeRF在3D场景理解、虚拟现实和增强现实等领域具有广泛的应用潜力。通过提升3D语义感知的准确性，该研究能够为自动驾驶、机器人导航和智能城市建设等实际应用提供更为可靠的支持，推动相关技术的发展与创新。

📄 摘要（原文）

The development of Neural Radiance Fields (NeRFs) has provided a potent representation for encapsulating the geometric and appearance characteristics of 3D scenes. Enhancing the capabilities of NeRFs in open-vocabulary 3D semantic perception tasks has been a recent focus. However, current methods that extract semantics directly from Contrastive Language-Image Pretraining (CLIP) for semantic field learning encounter difficulties due to noisy and view-inconsistent semantics provided by CLIP. To tackle these limitations, we propose OV-NeRF, which exploits the potential of pre-trained vision and language foundation models to enhance semantic field learning through proposed single-view and cross-view strategies. First, from the single-view perspective, we introduce Region Semantic Ranking (RSR) regularization by leveraging 2D mask proposals derived from Segment Anything (SAM) to rectify the noisy semantics of each training view, facilitating accurate semantic field learning. Second, from the cross-view perspective, we propose a Cross-view Self-enhancement (CSE) strategy to address the challenge raised by view-inconsistent semantics. Rather than invariably utilizing the 2D inconsistent semantics from CLIP, CSE leverages the 3D consistent semantics generated from the well-trained semantic field itself for semantic field training, aiming to reduce ambiguity and enhance overall semantic consistency across different views. Extensive experiments validate our OV-NeRF outperforms current state-of-the-art methods, achieving a significant improvement of 20.31% and 18.42% in mIoU metric on Replica and ScanNet, respectively. Furthermore, our approach exhibits consistent superior results across various CLIP configurations, further verifying its robustness. Project page: https://github.com/pcl3dv/OV-NeRF.