Stop Wandering: Efficient Vision-Language Navigation via Metacognitive Reasoning
作者: Xueying Li, Feng Lyu, Hao Wu, Mingliu Liu, Jia-Nan Liu, Guozi Liu
分类: cs.RO, cs.CV
发布日期: 2026-04-02
备注: 10 pages, 6 figures
💡 一句话要点
提出MetaNav，通过元认知推理实现高效的视觉-语言导航
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言导航 元认知推理 机器人导航 空间记忆 历史感知规划 反思性纠正 大型语言模型
📋 核心要点
- 现有VLN Agent依赖贪婪策略和被动记忆，导致探索效率低下，缺乏监控和调整能力。
- MetaNav通过整合空间记忆、历史感知规划和反思性纠正，赋予Agent元认知能力，提升导航效率。
- 实验表明，MetaNav在多个数据集上达到SOTA性能，并显著减少了VLM查询次数，验证了元认知推理的有效性。
📝 摘要（中文）
本文提出了一种名为MetaNav的元认知导航Agent，旨在解决基于预训练模型的免训练视觉-语言导航（VLN）Agent中存在的效率问题，例如局部震荡和冗余重访。现有方法依赖于贪婪的前沿选择和被动的空间记忆，缺乏元认知能力，无法监控探索进度、诊断策略失败或进行相应调整。MetaNav集成了空间记忆、历史感知规划和反思性纠正。空间记忆构建持久的3D语义地图，历史感知规划惩罚重访以提高效率，反思性纠正检测停滞并使用LLM生成指导未来前沿选择的纠正规则。在GOAT-Bench、HM3D-OVON和A-EQA上的实验表明，MetaNav在减少20.7% VLM查询的同时，实现了最先进的性能，证明了元认知推理显著提高了鲁棒性和效率。
🔬 方法详解
问题定义：现有基于预训练模型的免训练视觉-语言导航（VLN）Agent在复杂环境中导航时，容易出现局部震荡和冗余重访等问题，导致导航效率低下。这些Agent通常采用贪婪的前沿选择策略，并且缺乏对自身探索过程的监控和反思能力，无法有效地诊断策略失败并进行调整。
核心思路：MetaNav的核心思路是赋予VLN Agent元认知能力，使其能够像人类一样监控自身的探索进度，诊断策略失败的原因，并根据历史经验和环境信息进行自适应调整。通过引入空间记忆、历史感知规划和反思性纠正机制，Agent可以更好地理解环境、避免重复探索，并及时纠正错误的行为。
技术框架：MetaNav的整体框架包含三个主要模块：1) 空间记忆：构建持久的3D语义地图，用于存储环境信息和探索进度；2) 历史感知规划：通过惩罚重访来提高探索效率，避免重复探索已访问过的区域；3) 反思性纠正：检测停滞状态，并利用大型语言模型（LLM）生成纠正规则，指导未来的前沿选择。Agent首先利用空间记忆构建环境地图，然后根据历史感知规划选择下一个探索目标，如果检测到停滞，则利用反思性纠正模块生成新的探索策略。
关键创新：MetaNav的关键创新在于引入了元认知推理机制，使VLN Agent具备了自我监控、诊断和纠正的能力。与传统的基于贪婪策略的Agent不同，MetaNav能够根据自身的探索经验和环境信息进行自适应调整，从而提高导航效率和鲁棒性。反思性纠正模块利用LLM生成纠正规则，进一步增强了Agent的泛化能力。
关键设计：空间记忆模块采用3D语义地图来表示环境信息，地图中的每个节点包含位置、语义标签和访问次数等信息。历史感知规划模块通过计算访问次数的倒数作为惩罚项，来降低重访已探索区域的概率。反思性纠正模块使用LLM生成自然语言形式的纠正规则，例如“优先探索未知的区域”或“避开障碍物”。这些规则被用于指导未来的前沿选择过程。
🖼️ 关键图片
📊 实验亮点
MetaNav在GOAT-Bench、HM3D-OVON和A-EQA等数据集上取得了显著的性能提升。例如，在GOAT-Bench数据集上，MetaNav的SPL（Success weighted by Path Length）指标达到了SOTA水平，并且VLM查询次数减少了20.7%。这些实验结果表明，MetaNav的元认知推理机制能够有效地提高VLN Agent的效率和鲁棒性。
🎯 应用场景
MetaNav技术可应用于机器人导航、自动驾驶、虚拟现实等领域。在机器人导航中，可以帮助机器人在复杂环境中更高效、更智能地完成任务。在自动驾驶中，可以提高车辆在未知环境中的适应性和安全性。在虚拟现实中，可以为用户提供更逼真、更自然的交互体验。该研究的未来影响在于推动机器人和人工智能技术的发展，使其能够更好地服务于人类社会。
📄 摘要（原文）
Training-free Vision-Language Navigation (VLN) agents powered by foundation models can follow instructions and explore 3D environments. However, existing approaches rely on greedy frontier selection and passive spatial memory, leading to inefficient behaviors such as local oscillation and redundant revisiting. We argue that this stems from a lack of metacognitive capabilities: the agent cannot monitor its exploration progress, diagnose strategy failures, or adapt accordingly. To address this, we propose MetaNav, a metacognitive navigation agent integrating spatial memory, history-aware planning, and reflective correction. Spatial memory builds a persistent 3D semantic map. History-aware planning penalizes revisiting to improve efficiency. Reflective correction detects stagnation and uses an LLM to generate corrective rules that guide future frontier selection. Experiments on GOAT-Bench, HM3D-OVON, and A-EQA show that MetaNav achieves state-of-the-art performance while reducing VLM queries by 20.7%, demonstrating that metacognitive reasoning significantly improves robustness and efficiency.