LocalNav: Distilling Frontier VLMs and Embodied RL for On-Device Object Goal Navigation
作者: Nicolas Baumann, Liam Boyle, Pu Deng, Edoardo Ghignone, Boyang Sun, Marc Pollefeys, Luca Benini, Michele Magno
分类: cs.RO
发布日期: 2026-06-26
💡 一句话要点
提出LocalNav以解决资源受限机器人中的目标导航问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 视觉语言模型 目标导航 蒸馏训练 边缘计算 移动机器人 低延迟推理 场景图 量化技术
📋 核心要点
- 现有的视觉语言模型通常计算开销大，限制了在资源受限的机器人上进行低延迟推理。
- 本文提出了一种蒸馏策略，将复杂的空间语义推理转移到轻量级的本地VLM，以实现边缘设备的高效执行。
- 实验结果显示，微调后的模型在HM3D OVON基准上取得了34.5%的成功率，并且推理延迟降低了82.8%。
📝 摘要（中文）
视觉语言模型（VLMs）在机器人领域作为一种强大的工具，能够结合语言上下文进行环境感知，推动开放词汇任务如目标导航的发展。然而，其计算开销通常限制了在资源受限的机器人上进行本地部署。为了解决这一挑战，本文提出了一种蒸馏策略，将大型前沿模型中的复杂空间语义推理转移到轻量级的本地VLM中，以便在嵌入式GPU设备上执行。我们首先建立了基于场景图的最新技术管道，并在HM3D OVON基准上取得39.7%的成功率。通过对Qwen3.5-4B进行微调，成功实现了34.5%的成功率，缩小了与大型云模型的性能差距。此外，提出的E-RLVR结合了令牌生成正则化，显著减少了输出序列长度和推理延迟，最终实现了82.8%的推理延迟降低，展现了在移动机器人上本地低延迟VLM执行的可行性。
🔬 方法详解
问题定义：本文旨在解决资源受限机器人在目标导航任务中的低延迟推理问题。现有的视觉语言模型由于计算开销大，通常只能在云端执行，无法满足实时性需求。
核心思路：通过蒸馏策略，将大型前沿模型中的空间语义推理能力转移到一个轻量级的本地VLM中，从而实现高效的边缘计算。
技术框架：整体架构包括一个基于场景图的管道，首先在HM3D OVON基准上进行性能评估，然后对Qwen3.5-4B进行微调，最后引入E-RLVR与令牌生成正则化以优化输出序列。
关键创新：最重要的创新在于通过蒸馏技术有效地将复杂推理能力压缩到轻量级模型中，同时结合令牌生成正则化显著降低了推理延迟。
关键设计：在微调过程中，仅使用500个前沿推理轨迹进行训练，采用特定的损失函数和网络结构设计，以确保模型在保持性能的同时实现高效推理。
🖼️ 关键图片
📊 实验亮点
实验结果表明，基于场景图的管道在HM3D OVON基准上达到了39.7%的成功率，而微调后的模型成功率为34.5%，与大型云模型的性能差距显著缩小。此外，结合量化技术，推理延迟降低了82.8%，展示了该方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括移动机器人、智能家居和自动化仓储等场景。通过实现本地低延迟的目标导航，能够提升机器人在复杂环境中的自主决策能力，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Vision Language Models (VLMs) have emerged in the robotic domain as a powerful tool that enables environmental perception with language context, serving as a catalyst for open-vocabulary tasks like ObjectNav. Yet, their computational footprint typically confines them to cloud execution, hindering low-latency inference with local deployment on resource-constrained robots. To address this challenge, we present a distillation strategy that transfers complex spatial-semantic reasoning from large frontier models into a lightweight, 4B-parameter local VLM for edge execution on embedded GPU devices (e.g., Jetson Orin). We first establish a State of the Art (SotA), Scene Graph (SG)-based pipeline using Claude Sonnet 4.6, achieving a 39.7% Success Rate (SR) on the HM3D OVON benchmark. We then demonstrate that fine-tuning Qwen3.5-4B on just 500 frontier reasoning traces effectively enables navigation capabilities, yielding a SR of 34.5%, narrowing the gap to the performance of large cloud models. Finally, we introduce E-RLVR with Token Generation (TG) regularization to compress output sequence lengths for physical deployment while grounding the agent in its task. This downstream optimization reduces TG overhead by 72.1% and latency by 71.8%. Combined with quantization, this joint strategy yields a cumulative 82.8% reduction in overall inference latency without significantly sacrificing performance, presenting a viable paradigm for local, low-latency VLM execution on mobile robots.