FM-Fusion: Instance-aware Semantic Mapping Boosted by Vision-Language Foundation Models
作者: Chuhao Liu, Ke Wang, Jieqi Shi, Zhijian Qiao, Shaojie Shen
分类: cs.CV, cs.RO
发布日期: 2024-02-07 (更新: 2024-10-31)
备注: Published in IEEE RAL
期刊: vol. 9, no. 3, pp. 2232-2239, March 2024
💡 一句话要点
提出FM-Fusion以提升实例感知语义映射的准确性
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 实例感知 语义映射 视觉-语言模型 概率标签融合 智能机器人 自动驾驶 增强现实
📋 核心要点
- 现有的基于监督的语义映射方法对图像分布变化敏感，导致在真实环境中的性能下降。
- 本文提出了一种概率标签融合方法，并结合实例精炼模块，旨在提升实例感知语义映射的准确性和鲁棒性。
- 在ScanNet数据集上，本文方法在语义实例分割任务中取得了40.3的平均精度，显著优于传统方法。
📝 摘要（中文）
基于监督对象检测的语义映射对图像分布敏感。在真实环境中，物体检测和分割性能可能大幅下降，限制了语义映射的广泛应用。另一方面，视觉-语言基础模型的发展展示了强大的零样本迁移能力，为构建可泛化的实例感知语义地图提供了机会。本文探讨如何利用基础模型生成的物体检测来提升实例感知语义映射。我们提出了一种概率标签融合方法，从开放集标签测量中预测闭集语义类别，并通过实例精炼模块合并因不一致分割导致的过度分割实例。所有模块集成到一个统一的语义映射系统中，逐步重建实例感知语义地图。我们在ScanNet和SceneNN数据集上评估了方法的零样本性能，ScanNet语义实例分割任务中取得了40.3的平均精度，显著优于传统语义映射方法。
🔬 方法详解
问题定义：本文旨在解决现有基于监督的语义映射方法在真实环境中因图像分布变化导致的性能下降问题。现有方法在开放集标签下的泛化能力不足，限制了其应用范围。
核心思路：论文的核心思路是利用视觉-语言基础模型的零样本迁移能力，通过概率标签融合方法和实例精炼模块来提升实例感知语义映射的准确性。这样设计的目的是为了增强模型在不同数据分布下的鲁棒性。
技术框架：整体架构包括三个主要模块：1) 概率标签融合模块，用于从开放集标签中预测闭集语义类别；2) 实例精炼模块，合并因不一致分割导致的过度分割实例；3) 统一的语义映射系统，逐步重建实例感知语义地图。
关键创新：最重要的技术创新点在于提出了概率标签融合方法和实例精炼模块，显著提升了实例感知语义映射的性能，与传统方法相比具有更好的泛化能力和准确性。
关键设计：在模型设计中，采用了特定的损失函数来优化标签融合过程，并在实例精炼模块中引入了多层次的特征融合，以提高分割精度和实例合并效果。
🖼️ 关键图片
📊 实验亮点
在ScanNet数据集上，本文方法在语义实例分割任务中取得了40.3的平均精度，显著优于传统语义映射方法，展示了其在零样本迁移能力上的优势。
🎯 应用场景
该研究的潜在应用领域包括智能机器人、自动驾驶、增强现实等场景，能够在复杂环境中实现更准确的物体识别和语义理解。未来，该方法有望推动语义映射技术在更广泛领域的应用，提升智能系统的环境感知能力。
📄 摘要（原文）
Semantic mapping based on the supervised object detectors is sensitive to image distribution. In real-world environments, the object detection and segmentation performance can lead to a major drop, preventing the use of semantic mapping in a wider domain. On the other hand, the development of vision-language foundation models demonstrates a strong zero-shot transferability across data distribution. It provides an opportunity to construct generalizable instance-aware semantic maps. Hence, this work explores how to boost instance-aware semantic mapping from object detection generated from foundation models. We propose a probabilistic label fusion method to predict close-set semantic classes from open-set label measurements. An instance refinement module merges the over-segmented instances caused by inconsistent segmentation. We integrate all the modules into a unified semantic mapping system. Reading a sequence of RGB-D input, our work incrementally reconstructs an instance-aware semantic map. We evaluate the zero-shot performance of our method in ScanNet and SceneNN datasets. Our method achieves 40.3 mean average precision (mAP) on the ScanNet semantic instance segmentation task. It outperforms the traditional semantic mapping method significantly.