Vision-Language Model Reasoning for Contextual Semantic Mapping in Intralogistics

📄 arXiv: 2606.24814v1 📥 PDF

作者: Marvin Rüdt, Hao Pang, Constantin Enke, Zäzilia Seibold, Kai Furmans

分类: cs.RO

发布日期: 2026-06-23

备注: Accepted for publication at IEEE ETFA 2026

💡 一句话要点

提出上下文语义映射管道以解决自主移动机器人语义理解问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 上下文语义映射 自主移动机器人 多视角推理 实例分割 几何映射 物体可移动性 动态环境

📋 核心要点

  1. 现有方法在内部物流环境中缺乏对物体上下文属性的语义理解，限制了自主移动机器人的导航能力。
  2. 本文提出的管道结合几何映射和多视角推理，能够在不需要特定训练的情况下推断物体的上下文属性。
  3. 实验结果显示，该管道在语义分类和物体可移动性估计上分别达到了98.93%和89.17%的高精度，表现优异。

📝 摘要（中文）

自主移动机器人在内部物流环境中依赖几何地图进行定位和导航，但缺乏对物体及其上下文属性的语义理解。本文提出了一种上下文语义映射管道，结合基于SLAM的几何映射、基于SAM的实例分割、实例聚类和VLM多视角推理，生成编码几何结构、物体类别和物体可移动性的上下文语义地图表示。通过跨多个视角聚合观察并在零样本、开放词汇设置中查询VLM，该管道推断上下文物体属性（如可移动性），无需特定任务训练或预定义物体类别。我们评估了三种VLM在两种提示策略下的表现，并对管道进行了组件分析。该管道在语义分类上达到了98.93%的mIoU，在物体可移动性估计上达到了89.17%的mAcc。

🔬 方法详解

问题定义：本文旨在解决自主移动机器人在内部物流环境中对物体上下文属性缺乏语义理解的问题。现有方法主要依赖几何信息，无法有效推断物体的语义特征和可移动性。

核心思路：提出的上下文语义映射管道结合SLAM几何映射、实例分割和多视角推理，能够在零样本设置下推断物体的上下文属性，避免了对特定任务的训练需求。

技术框架：该管道主要包括四个模块：SLAM-based几何映射、SAM-based实例分割、实例聚类和VLM多视角推理。通过这些模块的协同工作，生成包含几何结构和语义信息的上下文语义地图。

关键创新：最重要的创新在于将VLM推理与几何映射和实例分割相结合，实现了对物体上下文属性的推断，突破了传统方法的限制。

关键设计：在设计过程中，采用了多视角观察聚合策略，并在VLM中实现了开放词汇查询，确保了对未知物体类别的适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的管道在语义分类任务中达到了98.93%的mIoU，在物体可移动性估计中达到了89.17%的mAcc，显示出显著的性能提升，尤其是在复杂的动态环境中。

🎯 应用场景

该研究的潜在应用领域包括智能仓储、自动化物流和机器人导航等。通过提供上下文语义地图，能够显著提升机器人在动态环境中的导航能力和决策效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Autonomous mobile robots operating in intralogistics environments rely on geometric maps for localization and navigation, but lack semantic understanding of objects and their contextual properties. We present a contextual semantic mapping pipeline that combines SLAM-based geometric mapping, SAM-based instance segmentation, instance clustering, and VLM multi-view reasoning to produce a contextual semantic map representation encoding geometric structure, object class, and object movability. By aggregating observations across multiple viewpoints and querying a VLM in a zero-shot, open-vocabulary setting, the pipeline infers contextual object properties--here demonstrated through movability--without requiring task-specific training or predefined object categories. We evaluate three VLMs under two prompting strategies and conduct a component-wise analysis of the pipeline. The proposed pipeline achieves 98.93 % mIoU for semantic classification and 89.17 % mAcc for object movability estimation. Component analysis identifies VLM reasoning as the primary bottleneck for contextual understanding and instance clustering as the main limitation for panoptic performance. The resulting semantic map supports context-aware filtering and robust navigation in dynamic intralogistics environments.