LightNav-0: Eliciting VLM Spatial Intelligence for Generalist Embodied Navigation
作者: Shaoan Wang, Aocheng Luo, Fei Huang, Jingyi Xu, Xiaoyang Wang, Yueyu Wang, Qianli Ma, Fan Yang, Ran Mei, Jia Wei, Jiangpeng Hu, Xuhao Liu, Hongming Chen, Yuanbin Shao, Yiyang Lin, Ziliang Li, Liang Pan, Xinhang Liu, Yuntao Ma, Tingxiang Fan
分类: cs.RO, cs.AI
发布日期: 2026-08-31
备注: Technical report
💡 一句话要点
提出LightNav-0以解决通用体态导航中的空间智能问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 体态导航 视觉-语言模型 空间智能 多任务学习 机器人控制 零-shot泛化 强化学习
📋 核心要点
- 现有导航系统依赖于特定任务或形态的组件，导致感知、推理和动作的碎片化，且泛化能力有限。
- LightNav-0通过统一的标记接口利用预训练的视觉-语言模型，支持多种导航任务，无需特定的预测头。
- LightNav-0在10个公共导航仿真设置中实现了最先进的单目成功率，并在真实世界评估中展示了零-shot泛化能力。
📝 摘要（中文）
体态导航要求智能体将异构目标和视觉观察转化为跨任务、环境和机器人形态的动作。现代视觉-语言模型（VLMs）已编码空间先验用于视觉定位、空间推理和指向，但这些能力很少直接用于机器人控制。现有导航系统依赖于特定任务或形态的组件，导致感知、推理和动作的碎片化，且泛化能力有限。本文提出LightNav-0，一个紧凑的通用体态导航模型，利用预训练VLM的空间智能并与导航对齐，无需特定任务的预测头。LightNav-0通过统一的标记接口表示多样的导航任务，结合时序感知的视觉历史压缩、ER中期训练、监督微调和强化学习，支持指令跟随、开放词汇对象导航和视觉跟踪。实验结果显示，LightNav-0在多个基准测试中表现出色，展示了其在不同场景和目标下的零-shot泛化能力。
🔬 方法详解
问题定义：本文旨在解决现有体态导航系统的碎片化问题，现有方法往往依赖于特定任务或形态的组件，限制了其泛化能力和灵活性。
核心思路：LightNav-0通过利用预训练的视觉-语言模型（VLM）来提取空间智能，并通过统一的标记接口将其与导航任务对齐，避免了特定任务的预测头设计。
技术框架：LightNav-0的整体架构包括双通道指向模块和残差向量量化的动作标记器，前者表达任务、场景和形态无关的空间意图，后者将该意图映射到具体的、形态特定的轨迹。此外，模型还结合了时序感知的视觉历史压缩、ER中期训练、监督微调和强化学习等技术。
关键创新：LightNav-0的主要创新在于其统一的标记接口和无特定任务预测头的设计，使得模型能够灵活应对多种导航任务，并实现更好的泛化能力。
关键设计：模型的设计中包括了双通道指向模块和残差向量量化的动作标记器，参数设置经过精心调整以优化性能，损失函数结合了多种任务的需求，确保模型在不同场景下的有效性。
🖼️ 关键图片
📊 实验亮点
LightNav-0在8个体态推理基准测试中取得了最高的完整集平均成绩，并在10个公共导航仿真设置中实现了最先进的单目成功率，展示了其在不同场景和目标下的零-shot泛化能力，进一步验证了紧凑VLM作为通用体态导航骨干的有效性。
🎯 应用场景
LightNav-0的研究成果具有广泛的应用潜力，尤其在机器人导航、自动驾驶、智能家居等领域。其通用性和灵活性使得该模型能够适应不同的环境和任务，推动智能体在复杂场景中的自主决策能力。未来，该技术可能会在更多实际应用中得到推广，提升机器人与人类环境的交互效率。
📄 摘要（原文）
Embodied navigation requires agents to translate heterogeneous goals and visual observations into actions across tasks, environments, and robot embodiments. Modern vision-language models (VLMs) already encode spatial priors for visual grounding, spatial reasoning, and pointing, but these capabilities are rarely elicited directly for robot control. Existing navigation systems instead rely on task- or embodiment-specific components, fragmenting perception, reasoning, and action while offering limited generalization. Here we present LightNav-0, a compact generalist embodied navigation model that elicits the spatial intelligence of a pretrained VLM and aligns it with navigation, without task-specific prediction heads. LightNav-0 represents diverse navigation tasks through a unified token interface: dual-channel pointing expresses task-, scene-, and embodiment-agnostic spatial intent, while a residual vector-quantized action tokenizer maps this intent to precise, embodiment-specific trajectories. Together with temporally aware visual history compression, ER mid-training, supervised fine-tuning, and reinforcement learning, this formulation supports instruction following, open-vocabulary object navigation, and visual tracking within a single model. The navigation training corpus spans 2K+ scenes and 4K+ hours of embodied navigation data. LightNav-ER, the embodied-reasoning checkpoint used to initialize LightNav-0, attains the highest complete-set average across 8 embodied-reasoning benchmarks, while LightNav-0 achieves state-of-the-art monocular success rates across all 10 public navigation simulation settings. Real-world evaluations further demonstrate zero-shot generalization across robot embodiments, diverse scenes, and static and dynamic targets. These results establish compact VLMs as a unified and transferable backbone for generalist embodied navigation.