Ask to Evolve: A Unified Harness for Lifelong Embodied Navigation with Hybrid Action Space and Persistent Memory
作者: Kai Sheng, Liuyi Wang, Jinlong Li, Haojie Dai, Chengju Liu, Qijun Chen
分类: cs.RO
发布日期: 2026-10-29
💡 一句话要点
提出EvoLife以解决自主导航与记忆整合问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 具身智能体 自主导航 混合动作空间 持久记忆 主动互动 多模态学习 经验积累 机器人技术
📋 核心要点
- 现有方法在具身导航中缺乏有效的自主行动与记忆整合，导致智能体在复杂环境中的表现受限。
- EvoLife通过混合动作空间和持久记忆机制，允许智能体在导航过程中主动互动并积累经验，从而提升决策能力。
- 实验结果显示，该方法在多个基准测试中表现优异，首次访问成功率达到100%，并在重访设置中成功率显著提升。
📝 摘要（中文）
赋予具身智能体自主行动、互动和理解环境的能力是实现其在物理世界中生存的重要一步。为此，EvoLife提出了一种统一的导航框架，支持多模态智能体选择移动方式、询问时机及经验传承。其混合动作空间涵盖了航点导航、局部离散调整、基于像素的导航和目标导向导航。主动互动使智能体在遇到歧义或困难时能够寻求澄清或帮助，而持久的空间记忆则将观察和对话与地点绑定，保留有用的经验以指导后续访问。通过在四个任务系列的八个基准上进行评估，该方法在视觉-语言导航和目标导航中实现了100%的首次访问成功率。
🔬 方法详解
问题定义：本论文旨在解决具身智能体在复杂环境中自主导航时的行动选择与经验积累问题。现有方法往往无法有效整合行动、互动与记忆，导致智能体在面对不确定性时表现不佳。
核心思路：EvoLife的核心思想是通过混合动作空间和持久记忆机制，使智能体能够在导航过程中灵活选择行动方式，并在遇到困难时主动寻求帮助，从而提升其自主性和适应性。
技术框架：EvoLife的整体架构包括四个主要模块：混合动作空间模块、主动互动模块、持久记忆模块和导航决策模块。混合动作空间支持多种导航方式，主动互动模块允许智能体在必要时进行询问，持久记忆模块则记录并利用历史经验。
关键创新：EvoLife的关键创新在于其混合动作空间的设计，能够同时支持多种导航策略，并通过持久记忆将观察与地点关联，从而实现经验的有效积累与重用。这一设计与传统方法的单一导航策略形成鲜明对比。
关键设计：在参数设置上，EvoLife采用了适应性学习率和多任务损失函数，以优化智能体在不同任务中的表现。网络结构方面，使用了深度卷积神经网络（CNN）进行视觉特征提取，并结合循环神经网络（RNN）处理记忆信息。整体设计旨在提升智能体的决策能力与互动效率。
🖼️ 关键图片
📊 实验亮点
在实验中，EvoLife在视觉-语言导航和目标导航任务中实现了100%的首次访问成功率，完整序列成功率在LHPR-VLN和GOAT-Bench上分别达到98%和94%。在R2R重访设置中，成功率从82.23%提升至93.31%，显示出显著的性能提升。
🎯 应用场景
EvoLife的研究成果在智能机器人、自动驾驶、虚拟助手等领域具有广泛的应用潜力。通过提升具身智能体的自主导航能力和互动能力，能够更好地服务于人类，改善人机交互体验，并推动智能体在复杂环境中的实际应用。
📄 摘要（原文）
Giving embodied agents the freedom to act autonomously, initiate interactions, and understand their surroundings through experience is a step toward bringing them to life in the physical world. Realizing this vision requires action, interaction, and memory to work together, so that each encounter can inform current decisions and contribute experience for future tasks. We present EvoLife, a unified navigation harness that enables a multimodal embodied agent to choose how to move, when to ask, and what experience to carry forward. Its hybrid action space supports waypoint navigation, local discrete adjustments, pixel-based navigation, and object-directed navigation. Active interaction allows the agent to seek clarification or assistance when it encounters ambiguity or difficulty, while persistent spatial memory binds observations and dialogue to places, retaining useful experience to guide subsequent visits. We evaluate eight benchmarks across four task families: vision-language navigation, object navigation, interactive instance navigation, and continuous multi-task navigation. With an average of only 1.87 active interactions per episode, our method achieves a first-visit success rate (SR) of 100% across four 100-episode sets spanning vision-language navigation and object navigation. Complete-sequence SR reaches 98% on 50 LHPR-VLN sequences and 94% on 50 GOAT-Bench sequences. In the R2R revisit setting, success weighted by path length (SPL) increases from 82.23% to 93.31% with retained experience. Multi-day physical navigation further demonstrates exploration, proactive help-seeking, and revisiting remembered places. Together, these results advance the vision of bringing embodied agents to life through autonomous action, proactive interaction, and the accumulation and reuse of experience.