Spatial Memory Agent: Experience-Grounded Procedure Memory for Spatial Intelligence

📄 arXiv: 2608.12743v1 📥 PDF

作者: Haokai Zhang, Yuhang Ding, Yunshu Zhou, Xinze Du, Shengtao Zhang, Zhiyue Zhao, Yuling Xi, Hao Chen

分类: cs.AI

发布日期: 2026-08-13

备注: Under Review

💡 一句话要点

提出空间记忆代理以解决空间智能推理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 空间智能 视觉语言模型 自我演化 经验驱动 转移学习 机器人规划 多模态助手

📋 核心要点

  1. 现有方法主要依赖后训练和外部工具，限制了空间推理的灵活性和效率。
  2. 提出空间记忆代理（SMA），通过经验驱动的框架实现冻结VLM的空间推理能力提升，无需参数更新。
  3. 在五个空间基准和四个基础VLM上，SMA在大多数评估中实现了最佳准确率，展示了其有效性。

📝 摘要（中文）

空间智能已成为具身代理、机器人规划和多模态助手的基础。为提升视觉语言模型（VLM）代理的空间推理能力，现有研究主要采用后训练方法和外部空间工具。本文提出了一种补充且未被充分探索的途径：在不依赖外部专家空间工具的情况下，研究一个冻结的VLM代理如何通过无参数更新的自我演化来改善其空间推理能力。我们提出了空间记忆代理（SMA），这是一个经验驱动的运行时框架，将验证过的空间经验转化为可重用的可转移教训。SMA在可验证的空间环境中查询冻结的VLM，获得预测答案和奖励，并通过验证者引导的反思提炼出紧凑的可转移教训。实验结果显示，SMA在多个基准测试中表现优异，建立了一个实用的无参数更新的空间自我演化路径。

🔬 方法详解

问题定义：本文旨在解决冻结的视觉语言模型（VLM）在空间推理中的局限性，现有方法依赖于后训练和外部工具，导致灵活性不足。

核心思路：通过引入空间记忆代理（SMA），实现无参数更新的自我演化，利用经验转化为可重用的教训，从而提升空间推理能力。

技术框架：SMA的整体架构包括查询冻结VLM、获取预测答案和奖励、以及通过验证者引导的反思提炼教训。每个教训都有一个转移可靠性评分（TRS），用于评估未来的转移可靠性。

关键创新：SMA的核心创新在于其经验驱动的运行时框架，能够在不依赖外部工具的情况下，通过自我演化提升空间推理能力，这与现有方法形成鲜明对比。

关键设计：SMA在教训检索中结合语义过滤和相似性-TRS排名，确保检索的记忆能够有效指导冻结模型的推理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在五个代表性的空间基准测试中，SMA在每个基础模型块中实现了最高的宏平均，并在20项评估中的大多数中获得最佳准确率，展示了其在空间智能推理中的显著提升。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶、虚拟助手等，能够在复杂环境中提升空间推理能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Spatial intelligence is becoming a foundation for embodied agents, robotic planning, and multimodal assistants. To improve the spatial reasoning ability of VLM agents, existing work has mainly followed two lines. One line uses post-training methods, such as supervised fine-tuning and reinforcement learning. Another line adopts an agentic paradigm in which the model calls external spatial tools, such as depth estimation and 3D reconstruction tools, to gather intermediate spatial evidence. We study a complementary and underexplored route: Can a frozen VLM agent improve its spatial reasoning through \textbf{parameter-update-free self-evolution}, without depending on external expert spatial tools at inference time? We present \textbf{Spatial Memory Agent (SMA)}, an \textbf{experience-grounded runtime framework} that converts verified spatial experience into reusable transferable lessons. In a verifiable spatial environment, SMA queries the frozen VLM, obtains a predicted answer and reward, and uses \textbf{verifier-guided reflection} to distill compact transferable lessons from spatial experience. SMA further assigns each lesson a \textbf{Transfer Reliability Score (TRS)}, which is initialized uniformly and calibrated from later retrieval outcomes as visit evidence of future transfer reliability. During \textbf{read-only deployment}, SMA retrieves lessons by semantic filter and similarity-TRS combined ranking, allowing the retrieved memory to guide frozen model inference. Across five representative spatial benchmarks and four base VLMs, SMA achieves the highest macro average in every base-model block and the best accuracy among the evaluated methods in most of the 20 evaluations, establishing a practical parameter-update-free path for spatial self-evolution across the evaluated frozen model scales and environments.