Path-level Hindsight Instructions for Semantic Exploration in Vision-Language Navigation
作者: Sung June Kim, Sangpil Kim, Honglak Lee
分类: cs.AI
发布日期: 2026-07-02
备注: Accepted to ECCV 2026
💡 一句话要点
提出Phi-Nav以解决视觉语言导航中的语义探索问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言导航 后见推理 语义探索 强化学习 智能代理
📋 核心要点
- 现有的视觉语言导航方法在探索过程中，往往导致执行轨迹与专家演示之间的语义不匹配，影响训练效果。
- 本文提出的Phi-Nav框架通过后见推理，利用三阶段的双重监督循环来对齐指令与代理的探索旅程。
- 在R2R-CE和RxR-CE基准上的评估结果显示，Phi-Nav在性能上具有竞争力，并且所需的专家演示数据量显著减少。
📝 摘要（中文）
在视觉语言导航中，基于策略的探索是训练鲁棒代理的关键组成部分，但这种探索往往导致执行的视觉流与原始语言指令之间的语义不匹配。为了解决这一挑战，本文提出了Phi-Nav，一个统一的基于策略框架，通过后见推理将指令与代理的实际探索旅程对齐。Phi-Nav通过三阶段的双重监督循环操作，显著缩小了基于策略方法中固有的语义监督差距。实验结果表明，Phi-Nav在R2R-CE和RxR-CE基准上表现出色，同时仅需使用当前基线的一小部分专家演示数据。
🔬 方法详解
问题定义：本文旨在解决视觉语言导航中，基于策略的探索导致的执行轨迹与专家演示之间的语义不匹配问题。现有方法在探索过程中未能有效利用收集到的视觉信息，导致训练信号稀缺。
核心思路：Phi-Nav框架通过后见推理，将代理的实际探索旅程与语言指令对齐，增强了训练过程中的语义信息利用。该设计旨在通过生成与实际路径相对应的指令，来弥补语义监督的缺失。
技术框架：Phi-Nav的整体架构包括三个主要阶段：第一阶段，代理在专家指导下进行基于策略的探索；第二阶段，后见发言者基于收集的视觉观察合成路径级的后见指令；第三阶段，代理进行第二次模仿学习，将合成的轨迹-指令对作为额外的专家演示。
关键创新：Phi-Nav的核心创新在于其后见推理机制，能够将语义信息有效整合到训练过程中，显著缩小了基于策略方法中的语义监督差距。这一机制与传统方法的主要区别在于其动态生成的指令与实际探索路径的紧密结合。
关键设计：在设计中，Phi-Nav采用了双重监督损失函数，以平衡专家反馈与后见指令的影响。此外，网络结构上，代理的决策网络与后见发言者的生成网络相互独立但又紧密协作，确保信息流的高效传递。
🖼️ 关键图片
📊 实验亮点
在R2R-CE和RxR-CE基准测试中，Phi-Nav表现出色，达到了与当前最先进方法相当的性能，同时仅需使用其一小部分的专家演示数据，显示出其在数据效率上的显著提升。
🎯 应用场景
该研究的潜在应用领域包括智能家居、机器人导航和增强现实等场景，能够有效提升智能代理在复杂环境中的自主导航能力。通过减少对专家演示的依赖，Phi-Nav为数据稀缺情况下的训练提供了新的思路，具有重要的实际价值和未来影响。
📄 摘要（原文）
On-policy exploration is a crucial component for training robust Vision-Language Navigation agents, as it exposes the policy to a broader state distribution. However, such exploration inevitably leads to trajectories that deviate from expert demonstrations, resulting in a semantic mismatch between the executed visual stream and the original language instruction. In this work, we address this challenge by introducing Phi-Nav, a unified on-policy framework that leverages hindsight reasoning to align instructions with the agent's actual exploratory journey. Specifically, Phi-Nav operates through a three-stage dual-supervision cycle: 1) the agent performs oracle-guided on-policy exploration, sampling a trajectory while learning from expert action feedback, 2) a hindsight speaker synthesizes a path-level hindsight instruction grounded in the collected visual observations, and 3) the agent conducts a second imitation pass, treating the synthesized trajectory-instruction pair as an additional expert demonstration. Through this process, Phi-Nav bridges the critical semantic supervision gap inherent in on-policy methods, transforming semantically unlabeled movement into dense training signals. Evaluations on the R2R-CE and RxR-CE benchmarks show that Phi-Nav yields competitive performance while requiring only a fraction of the expert demonstrations used by current baselines. These results underscore the necessity of semantic exploration in VLN, positioning Phi-Nav as an effective solution for training embodied agents with limited data.