Remember Where You Walk: Learning Spatial Memory for End-to-End Legged Robot Exploration

📄 arXiv: 2610.37203v1 📥 PDF

作者: Leon Magnus, Nico Bohlinger, Jan Peters, Oleg Arenz

分类: cs.RO

发布日期: 2026-10-27

💡 一句话要点

提出基于Hadamard记忆的LSMM以解决机器人导航中的空间记忆问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 空间记忆 强化学习 腿部机器人 导航 Hadamard记忆 自主探索 深度学习

📋 核心要点

  1. 现有的强化学习方法在长时间跨度内难以有效保留任务相关信息，影响机器人在复杂环境中的导航能力。
  2. 本文提出的局部空间矩阵记忆（LSMM）通过位置基础的记忆单元，增强了机器人在导航任务中的信息存储和检索能力。
  3. 实验结果显示，LSMM在自主迷宫探索任务中与其他基线方法相比，能够有效记住迷宫布局，重建误差降低了三倍。

📝 摘要（中文）

在复杂环境中，类人机器人和其他腿部机器人必须记住超出视野的信息，这些信息在稍后变得相关。现有的强化学习策略通常使用LSTM等记忆网络，但在长时间跨度内信息保留不足。本文提出了一种基于Hadamard记忆的网络架构，旨在优化机器人导航。我们的局部空间矩阵记忆（LSMM）允许强化学习代理在特定位置的记忆单元中存储任务相关信息，实现灵活且空间基础的记忆。我们在自主迷宫探索任务中评估LSMM，结果表明其在迷宫覆盖率上与强大的递归和有限历史基线相匹配，同时是唯一能够记住迷宫布局的架构，重建误差降低了三倍。

🔬 方法详解

问题定义：本文旨在解决腿部机器人在复杂环境中导航时，如何有效记住超出视野的信息的问题。现有的LSTM等记忆网络在长时间跨度内信息保留不足，导致导航性能下降。

核心思路：论文提出的局部空间矩阵记忆（LSMM）通过位置基础的记忆单元，允许强化学习代理存储和检索任务相关信息，从而实现灵活的空间记忆。这样的设计使得机器人能够在导航过程中更好地利用历史信息。

技术框架：LSMM的整体架构包括输入层、位置基础的记忆单元和输出层。输入层接收环境信息，记忆单元存储任务相关信息，输出层则用于生成导航决策。

关键创新：LSMM的主要创新在于其基于Hadamard记忆的设计，使得机器人能够在特定位置存储信息，显著提高了信息的保留和检索能力。这与传统的递归网络方法有本质区别。

关键设计：在LSMM中，记忆单元的参数设置经过精心设计，以确保信息的有效存储和检索。同时，损失函数的选择也考虑了重建误差的最小化，以提升整体性能。网络结构采用了模块化设计，便于扩展和优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LSMM在自主迷宫探索任务中与强大的递归和有限历史基线相匹配，同时是唯一能够有效记住迷宫布局的架构，重建误差降低了三倍，显示出其在长时间信息保留方面的显著优势。

🎯 应用场景

该研究的潜在应用领域包括自主导航、探索任务和复杂环境中的机器人操作。通过提升机器人的空间记忆能力，能够在未知环境中实现更高效的路径规划和任务执行，未来有望在智能家居、救援任务和工业自动化等领域发挥重要作用。

📄 摘要（原文）

Humanoids and other legged robots operating in complex environments must remember information that leaves their field of view and only becomes relevant much later. Reinforcement learning policies address this using memory networks such as LSTMs that are trained end-to-end with the policy to memorize such task-relevant aspects. Yet, such architectures often fail to preserve sufficient information over long horizons. In this work, we propose a network architecture based on Hadamard memory that specifically targets robot navigation. Our Local Spatial Matrix Memory (LSMM) enables RL agents to store generic task-relevant information at specific, position-based memory cells, enabling flexible and spatially grounded memorization. We evaluate LSMM on the task of autonomous maze exploration, where it matches the maze coverage of strong recurrent and finite-history baselines while being the only architecture that remembers the maze layout, reducing the reconstruction error threefold.