Where Am I? Semantic Map Grounding via Vision-Language Models for Multi-Modal Localization

📄 arXiv: 2607.01079v1 📥 PDF

作者: Suraj Borate, Aarav Shah, Madhu Vadali

分类: cs.RO

发布日期: 2026-07-01

💡 一句话要点

通过视觉-语言模型实现室内多模态定位的语义地图定位

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 机器人定位 视觉-语言模型 多模态融合 语义推理 室内导航

📋 核心要点

  1. 现有的机器人定位方法通常依赖几何估计，难以在GPS缺失的室内环境中保持高效和准确。
  2. 本研究提出将机器人定位视为语义推理任务，利用视觉-语言模型结合多模态输入进行姿态推断。
  3. 实验结果表明，模型在未见物体类别上的位置准确率仍高达90.99%，且在不完整地图情况下表现出良好的适应性。

📝 摘要（中文）

本研究针对GPS无法使用的室内环境中的机器人定位问题，将其重新定义为语义推理任务，而非几何估计问题。我们探讨了在给定前置摄像头图像、极坐标LiDAR扫描和自上而下的语义网格地图的情况下，视觉-语言模型是否能够推断机器人姿态。通过对Qwen2.5-VL-7B进行LoRA微调，并附加轻量回归头，直接从最终隐藏状态预测连续姿态坐标。实验结果显示，该模型在测试集上实现了98.23%的位置准确率和96.75%的完整姿态准确率，表明其在语义空间推理方面的有效性。

🔬 方法详解

问题定义：本研究旨在解决在GPS无法使用的室内环境中，机器人定位的准确性和可靠性问题。现有方法多依赖几何信息，难以处理复杂的室内场景和物体遮挡。

核心思路：论文提出将定位任务转化为语义推理，通过视觉-语言模型结合多模态数据（图像、LiDAR、语义地图）来推断机器人姿态，模拟人类的定位方式。

技术框架：整体架构包括输入模块（摄像头图像、LiDAR扫描、语义地图）、模型微调（Qwen2.5-VL-7B）、回归头（预测姿态坐标）和损失函数（复合位置与方向损失）。

关键创新：最重要的创新在于将语义推理引入机器人定位，利用视觉-语言模型进行姿态推断，突破了传统几何估计的限制。

关键设计：模型通过LoRA进行微调，使用轻量回归头直接从隐藏状态预测姿态坐标，训练过程中采用复合损失函数和课程学习策略，确保模型在多样化场景中的适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，模型在18,017个样本的测试集中实现了98.23%的位置准确率和96.75%的完整姿态准确率。在面对未见物体类别时，位置准确率仍保持在90.99%，证明了其在语义空间推理方面的优势。

🎯 应用场景

该研究具有广泛的应用潜力，特别是在智能家居、仓储物流和服务机器人等领域。通过提高机器人在复杂室内环境中的定位能力，可以显著提升其自主导航和任务执行的效率，推动智能机器人技术的进一步发展。

📄 摘要（原文）

We address robot localization in GPS-denied indoor environments by reframing it as a semantic reasoning task rather than a geometric estimation problem. Motivated by how humans localize using object-level cues and labeled maps, we ask whether a vision-language model, given a front camera image, a polar LiDAR scan, and a top-down semantic grid map, can infer the robot pose. We fine-tune Qwen2.5-VL-7B with LoRA and attach a lightweight regression head that predicts continuous pose coordinates (x, y, theta) directly from the final hidden state, bypassing text generation. Training uses a composite position-and-direction loss with curriculum learning on a custom Gazebo dataset of 120,112 samples and 527 scenes. On the in-distribution test set of 18,017 samples, the model achieves 98.23 percent position accuracy, 98.00 percent direction accuracy, 96.75 percent full pose accuracy, a mean position error of 0.11 m, and a mean orientation error of 5.7 degrees at 0.62 s per sample. Position accuracy drops by only 7.2 percentage points on seven unseen object categories, reaching 90.99 percent, supporting semantic spatial reasoning rather than appearance memorization. With incomplete maps, fine-tuning recovers performance to 93.72 percent position accuracy, showing adaptability to stale or partial map information. Two ablations highlight cross-modal complementarity. Without LiDAR, using only camera and map inputs, position accuracy remains 95.06 percent, only 3.2 percentage points below the full system. However, when the camera sees no visible objects in a wall-facing view, LiDAR sustains 92.33 percent position accuracy, compared with 70.74 percent when neither LiDAR nor visible objects are available. This shows that LiDAR becomes the primary localization signal when camera semantics are unavailable and provides a reliable fallback under occlusion or sparse layouts.