WayTrace: A Map-to-Language-to-Trace Hierarchy for Embodied Urban Navigation
作者: Manthan Patel, Jonas Frey, Pascal Roth, Marco Hutter, Cesar Cadena
分类: cs.RO
发布日期: 2026-11-03
备注: Under Review
💡 一句话要点
提出WayTrace以解决自主机器人导航中的指令执行问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 自主导航 视觉-语言模型 轨迹预测 强化学习 城市机器人
📋 核心要点
- 现有的自主导航方法在长途执行指令时面临GNSS依赖和视觉-语言模型的局限性，导致导航精度不足。
- WayTrace通过将网络地图指令与机器人运动结合，利用视觉-语言模型和轨迹预测器逐步执行导航指令。
- 在实际测试中，WayTrace在复杂环境中表现出色，完成了长达1.37公里的任务，且违规情况显著低于传统点目标方法。
📝 摘要（中文）
网络服务为几乎每个城市提供步行导航，但自主机器人在长途导航中可靠执行指令仍然具有挑战性。现有的点目标导航策略依赖于准确的GNSS，而大多数视觉-语言导航模型在户外执行短指令时也面临困难。本文提出WayTrace，一个将网络地图指令与机器人运动通过语言连接的层次化系统。该系统利用现成的视觉-语言模型读取逐步指令、卫星地图和最近的相机图像，并逐条发出原子语言命令。通过在超过一百万个自动标注样本上训练的轨迹预测器，系统能够在图像中绘制出指令路径，并通过强化学习策略进行跟踪。在长距离模拟任务中，WayTrace对GNSS噪声保持鲁棒性，且违规情况显著低于传统方法。
🔬 方法详解
问题定义：本文旨在解决自主机器人在城市环境中执行长途导航指令的挑战，现有方法在GNSS依赖和短指令执行上存在不足。
核心思路：WayTrace通过层次化的系统设计，将网络地图指令与机器人运动连接，利用视觉-语言模型逐步发出导航指令，确保指令的准确执行。
技术框架：该系统包括三个主要模块：视觉-语言模型用于解析指令，轨迹预测器根据指令绘制路径，强化学习策略用于跟踪和执行路径。
关键创新：WayTrace的创新在于其将视觉-语言理解与轨迹预测结合，显著提高了长途导航的鲁棒性和准确性，区别于传统的点目标导航方法。
关键设计：系统使用了一个经过训练的轨迹预测器，基于超过一百万个街景图像样本进行训练，确保了路径绘制的准确性，同时强化学习策略优化了路径跟踪的效果。
🖼️ 关键图片
📊 实验亮点
在长距离模拟任务中，WayTrace对GNSS噪声表现出良好的鲁棒性，违规情况显著低于传统点目标导航方法，后者在相同条件下的违规率高出约十倍。实际部署在轮腿机器人上，WayTrace成功完成了长达1.37公里的城市导航任务，速度约为1.1米/秒。
🎯 应用场景
WayTrace的研究成果在城市导航、自动驾驶和服务机器人等领域具有广泛的应用潜力。其创新的导航方法可以提升机器人在复杂环境中的自主性和可靠性，推动智能交通和智能城市的发展。
📄 摘要（原文）
Web services provide walking directions for nearly every city, but following them reliably over long routes remains challenging for autonomous robots. Point-goal navigation policies rely heavily on accurate GNSS, while most vision-language navigation models struggle to execute even short instructions outdoors. We present WayTrace, a hierarchical system that connects web-map directions to robot motion through language. An off-the-shelf orchestrator vision-language model reads the turn-by-turn directions, a satellite map and recent camera images, and issues one atomic language command at a time, such as "cross the road to the left". An onboard trace predictor, trained on over one million automatically labelled samples from street-level images, draws the path for this command in the image, and a reinforcement learning policy tracks it. In long-range simulated missions, WayTrace remains robust to GNSS noise and rarely leaves crosswalks or sidewalks, while point-goal baselines degrade sharply with about ten times more violations. Deployed on a wheeled-legged robot, WayTrace completes real-world missions of up to 1.37 km at about 1.1 m/s through a busy city centre, rural trails and a university campus, handling crosswalks, staircases and construction sites. Project page: https://way-trace.github.io