MemVLN: Streaming Episodic Memory for Vision-Language Navigation

📄 arXiv: 2610.35066v1 📥 PDF

作者: Yan Wang, Jiangyong Huang, Baoxiong Jia, Siyuan Huang

分类: cs.CV

发布日期: 2026-10-26

备注: Project page: https://memvln.github.io/

💡 一句话要点

提出MemVLN以解决长时间导航中的记忆保持问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言导航 情节记忆 长时间导航 多模态学习 智能代理

📋 核心要点

  1. 现有的视觉语言导航方法在长时间导航中难以保持有效的情节记忆，导致性能下降。
  2. 本文提出的MEMVLN框架通过压缩感知特征和交叉注意力机制，优化了情节记忆的存储和检索。
  3. 在实验中，MEMVLN在标准VLN-CE基准上实现了最新的性能，成功率显著提高，验证了其有效性。

📝 摘要（中文）

视觉语言导航（VLN）要求具身代理在三维环境中遵循语言指令。对于基于视觉语言模型（VLM）的流媒体代理，保持持久的情节记忆在长时间导航中仍然是一个挑战。本文提出了MEMVLN，一个流媒体情节记忆框架，维护一个带有时间戳和基于动作的相对姿态的压缩感知特征库，并通过交叉注意力生成紧凑的记忆标记。我们将所提出的记忆与一个冻结的预训练几何编码器配对。为了学习记忆模块，我们设计了一种基于掩蔽的轨迹总结任务，采用多粒度子轨迹分解，鼓励仅从情节记忆中重建路径。在官方R2R/RxR轨迹限制下的导航训练中，MEMVLN在标准VLN-CE基准上实现了大多数报告指标的最新性能。长时间分析进一步表征了情节记忆的有效性。在物理评估中，我们在一个物理场景中收集了30个指令条件的情节，使用24个作为后训练的演示，保留六个用于测试。在保留的情节上，MEMVLN将成功率从17%提高到40%，后训练进一步提升至47%。

🔬 方法详解

问题定义：本文旨在解决基于视觉语言模型的流媒体代理在长时间导航中情节记忆保持不足的问题。现有方法在处理复杂环境和长时间任务时，往往无法有效存储和利用历史信息，导致导航性能下降。

核心思路：MEMVLN框架的核心思想是维护一个压缩的情节记忆库，通过时间戳和相对姿态标注感知特征，并利用交叉注意力生成紧凑的记忆标记。这种设计旨在提高记忆的存储效率和检索能力，使得代理能够在长时间导航中更好地利用历史信息。

技术框架：MEMVLN的整体架构包括一个情节记忆模块和一个冻结的预训练几何编码器。情节记忆模块负责存储和管理感知特征，而几何编码器则用于处理环境信息。通过掩蔽的轨迹总结任务，模型能够从情节记忆中重建导航路径。

关键创新：MEMVLN的主要创新在于其情节记忆的设计和学习机制。与现有方法不同，MEMVLN通过多粒度子轨迹分解和掩蔽策略，专注于从情节记忆中进行路径重建，显著提升了长时间导航的成功率。

关键设计：在技术细节上，MEMVLN采用了压缩感知特征库，结合时间戳和相对姿态信息，使用交叉注意力生成记忆标记。此外，设计的掩蔽轨迹总结任务促进了模型对历史信息的有效利用，增强了导航能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，MEMVLN在标准VLN-CE基准上实现了最新的性能，成功率从VLM基线的17%提升至40%，后训练进一步提高至47%。这一结果表明，MEMVLN在长时间导航任务中显著增强了代理的表现，验证了其有效性。

🎯 应用场景

MEMVLN的研究成果在智能机器人、自动驾驶和虚拟现实等领域具有广泛的应用潜力。通过提高代理在复杂环境中的导航能力，该框架可以帮助实现更智能的交互和自主决策，推动相关技术的发展与应用。未来，随着技术的进一步完善，MEMVLN有望在更复杂的场景中发挥更大作用。

📄 摘要（原文）

Vision-language navigation (VLN) requires an embodied agent to follow language instructions through 3D environments. Maintaining persistent episodic memory remains a challenge for VLM-based streaming agents in long-horizon navigation. We present MEMVLN, a streaming episodic memory framework that maintains a bounded bank of compressed perceptual features annotated with timesteps and action-derived relative poses, and produces compact memory tokens via cross-attention. We pair the proposed memory with a frozen pretrained geometry encoder. To learn the memory module, we design a masking-based trajectory summarization task with multi-granularity sub-trajectory decomposition, encouraging route reconstruction exclusively from episodic memory. Under navigation training restricted to the official R2R/RxR trajectories, MEMVLN achieves state-of-the-art performance on most reported metrics on standard VLN-CE benchmarks. Long-horizon analyses further characterize when episodic memory is useful. For physical evaluation, we collect 30 instruction-conditioned episodes in one physical scene, use 24 as demonstrations for post-training, and hold out six for testing. On the held-out episodes, MEMVLN improves success over the VLM baseline from 17% to 40%, and post-training further raises it to 47%.