OpenSPM: An Environment-Transferable Robotic Key Spatial Pose Memory and Closed-Loop High-Frequency Flow-Matching Action Generation Model

📄 arXiv: 2606.29936v1 📥 PDF

作者: Iok Tong Lei, Qingchen Xie, Yifan Wang, Yap Ying Jie, Zhidong Deng

分类: cs.RO

发布日期: 2026-06-29

💡 一句话要点

提出OpenSPM以解决开放环境下机器人操作的空间记忆与动作生成问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操作 空间记忆 动作生成 高频控制 语义理解 3D感知 卡尔曼滤波 流匹配模型

📋 核心要点

  1. 现有的机器人操作方法在高层语义与低层物理执行之间存在显著的差距，导致细粒度任务的执行效果不佳。
  2. 本文提出的OpenSPM框架通过空间持久记忆和流匹配模型，结合语义条件的3D感知，实现了高效的姿态跟踪与动作生成。
  3. 在LIBERO-GOAL任务中，OpenSPM实现了85.6%的成功率和1033.3 Hz的控制频率，显示出其在高频操作中的优越性能。

📝 摘要（中文）

开放环境下的桌面机器人操作需要具备语义理解、精确的几何姿态估计和高频率的动作生成能力。尽管端到端的视觉-语言-动作（VLA）模型在语义泛化方面表现出色，但在细粒度任务中往往缺乏明确的几何约束，并且训练成本高。为了解决高层语义与低层物理执行之间的差距，本文提出了OpenSPM，一个开放环境空间持久记忆框架，包括空间姿态记忆和流匹配动作生成模型。OpenSPM利用语义条件的3D感知和卡尔曼滤波来跟踪连续的6D姿态，并从人类示范中提取关键空间姿态，作为可转移的对象中心空间持久记忆条目。在推理过程中，OpenSPM根据自然语言指令检索相关记忆条目，通过SE(3)变换将空间姿态转移到新场景，并通过轻量级条件流匹配模型生成高频率的动作片段。结合实时的本体状态反馈和终端残差校正，该系统有效抑制了轨迹误差的累积。在十个LIBERO-GOAL任务上的评估中，OpenSPM达到了85.6%的成功率和1033.3 Hz的等效控制频率，同时对推理AI计算能力的需求极小。大量消融实验表明，结构化的空间持久记忆和闭环残差校正在可靠的高频机器人操作中起着至关重要的作用。

🔬 方法详解

问题定义：本文旨在解决开放环境下机器人操作中高层语义与低层物理执行之间的差距，现有方法在细粒度任务中缺乏有效的几何约束，且训练成本高。

核心思路：OpenSPM框架通过构建空间持久记忆和流匹配动作生成模型，利用语义条件的3D感知和卡尔曼滤波来实现高效的6D姿态跟踪，从而实现高频率的动作生成。

技术框架：OpenSPM的整体架构包括三个主要模块：1) 语义条件的3D感知与卡尔曼滤波用于姿态跟踪；2) 从人类示范中提取的空间持久记忆；3) 轻量级的条件流匹配模型用于高频动作生成。

关键创新：OpenSPM的主要创新在于其结构化的空间持久记忆和闭环残差校正机制，这使得机器人能够在新场景中有效转移和应用已学习的空间姿态。

关键设计：在设计中，采用了SE(3)变换来实现空间姿态的转移，并结合实时的本体状态反馈和终端残差校正，以抑制轨迹误差的累积，确保高频动作的准确性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在十个LIBERO-GOAL任务的评估中，OpenSPM达到了85.6%的成功率，且控制频率高达1033.3 Hz，显示出其在高频率机器人操作中的优越性能，且对推理AI计算能力的需求极小，具有良好的实用性。

🎯 应用场景

OpenSPM的研究成果在多种机器人操作场景中具有广泛的应用潜力，如智能家居、工业自动化和服务机器人等领域。其高效的空间记忆与动作生成能力将推动机器人在复杂环境中的自主操作能力，提升人机协作的效率与安全性。

📄 摘要（原文）

Open-environment tabletop robotic manipulation requires systems to possess semantic understanding, precise geometric pose estimation, and high-frequency action generation. While end-to-end vision-language-action (VLA) models excel at semantic generalization, they often lack explicit geometric constraints for fine-grained tasks and require costly training. To bridge the gap between high-level semantics and low-level physical execution, we propose OpenSPM, an open environment spatial persistent memory framework consisting of spatial pose memory and flow-matching action generation model. OpenSPM first leverages semantically conditioned 3D perception and Kalman filtering to track continuous 6D poses. It then extracts key spatial poses from human demonstrations, keeping them as transferable, object-centric spatial persistent memory entries. During inference, OpenSPM retrieves relevant memory entries in terms of natural language instructions, transfers the spatial poses to new scenes using SE(3) transformations, and generates high-frequency action chunks via a lightweight conditional flow-matching model. Combined with real-time proprioceptive state feedback and terminal residual correction, the system effectively suppresses trajectory error accumulation. Evaluated on ten LIBERO-GOAL tasks, OpenSPM achieves an 85.6% success rate and an equivalent control frequency of 1033.3 Hz, while requiring minimal inference AI computing power. Extensive ablations illustrate that structured spatial persistent memory and closed-loop residual correction play a crucial role in reliable, high-frequency robotic manipulation.