Slow Brain, Fast Planner: Latency-Resilient VLM-Augmented Urban Navigation
作者: Zhenghao "Mark'' Peng, Honglin He, Quanyi Li, Yukai Ma, Bolei Zhou
分类: cs.RO
发布日期: 2026-06-18
💡 一句话要点
提出VLM-Planner接口以解决城市导航中的轨迹评分差距问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 城市导航 轨迹评分 视觉-语言-动作 移动机器人 实时融合 学习型规划器 抗延迟设计
📋 核心要点
- 现有的学习型规划器在复杂的行人道导航中存在轨迹评分差距，无法有效选择最佳轨迹。
- 本文提出了一种VLM-Planner接口，利用视觉-语言-动作模型增强规划器的轨迹选择能力。
- 在实验中，VLM选择在复杂场景中实现了30%的ADE减少，且在延迟高达5秒的情况下仍保持80%的成功率。
📝 摘要（中文）
基于学习的规划器在行人道导航中能够实时生成多样的候选轨迹，但其评分函数在复杂情况下常常无法选择最佳轨迹，导致机器人行驶到草地、接近行人或错误方向。我们称之为轨迹评分差距。为了解决这一问题，本文提出了一种VLM-Planner接口，利用视觉-语言-动作模型从规划器的候选集中选择轨迹索引，并与规划器的初始输出融合。我们贡献了一种无训练、抗延迟的轨迹级融合层，通过几何相似性和指数衰减将过时的VLM选择转化为实时的规划器评分。在约2000个复杂的真实场景中，VLM选择实现了30%的ADE减少，同时在常规情况下规划器仍具竞争力。
🔬 方法详解
问题定义：本文旨在解决现有学习型规划器在复杂行人道导航中无法有效选择最佳轨迹的问题，导致机器人可能驶入不安全区域。
核心思路：提出VLM-Planner接口，通过视觉-语言-动作模型增强规划器的轨迹选择能力，结合规划器的初始输出进行轨迹评分。
技术框架：整体架构包括候选轨迹生成模块、VLM选择模块和轨迹融合模块。候选轨迹由规划器生成，VLM选择模块从中选择最佳候选，最后通过融合模块进行实时评分。
关键创新：引入了一种无训练、抗延迟的轨迹级融合层，通过几何相似性和指数衰减将VLM的选择转化为实时评分，显著提升了轨迹选择的准确性。
关键设计：设计了融合层的参数设置和损失函数，确保在不同延迟情况下仍能保持较高的评分准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，VLM选择在约2000个复杂场景中实现了30%的ADE减少，相较于规划器的最佳选择表现出显著提升。此外，Score Fusion在延迟高达5秒的情况下仍保持超过80%的成功率，验证了其在实际应用中的有效性。
🎯 应用场景
该研究具有广泛的应用潜力，尤其是在城市环境中的移动机器人导航、自动驾驶和智能交通系统中。通过提升轨迹选择的准确性，可以有效提高机器人在复杂场景中的安全性和效率，推动智能导航技术的发展。
📄 摘要（原文）
Learning-based planners for sidewalk navigation can generate diverse candidate trajectories in real time, yet their scoring functions often fail to select the best trajectory in challenging situations, outputting trajectories that make the mobile robot drive onto grass, toward pedestrians, or in the wrong direction, even when better candidates exist in the same set. We call this the trajectory scoring gap: in real-world sidewalk navigation, the gap between an anchor-based planner's top choice and the best possible candidate is substantial, likely due to limited high-level scene understanding capability of the planner. Rather than replacing the planner with an end-to-end Vision-Language-Action model, we propose a VLM-Planner interface that uses a VLM to select a candidate index from the planner's proposal set and then fuse it with the planner's initial output. However, VLMs take 1--3s per query and so cannot directly drive a 5--20Hz control loop. We contribute a training-free, latency-resilient trajectory-level fusion layer that turns a stale VLM selection into real-time planner scoring via geometric similarity with exponential decay. On $\sim$2,000 challenging real-world scenarios (e.g., junctions, pedestrian encounters), VLM selection achieves 30% ADE reduction versus the planner's best selection, while the planner remains competitive in routine situations. In simulation, Score Fusion maintains >80% success rate with delays up to 5s. We demonstrate the full system on a mobile robot navigating challenging campus sidewalks with varied network latency.