SERF: Spatiotemporal Environment and Robot Feature Map for Long-Horizon Mobile Manipulation

📄 arXiv: 2606.12956v1 📥 PDF

作者: Sunghwan Kim, Byeonghyun Pak, Kehan Long, Yulun Tian, Nikolay Atanasov

分类: cs.RO

发布日期: 2026-06-11

备注: Project page: https://existentialrobotics.org/serf/

💡 一句话要点

提出SERF以解决长时间移动操作中的环境推理问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长时间移动操作 时空特征图 机器人推理 视觉-语言-动作 环境变化适应性

📋 核心要点

  1. 现有方法在长时间移动操作中难以有效推理环境变化和任务进展，依赖图像观察的局限性显著。
  2. 论文提出了一种基于时空特征图（SERF）的移动操作策略，通过将环境和机器人表示为共享潜在空间中的神经点来增强推理能力。
  3. 实验结果显示，SERF VLA策略在BEHAVIOR-1K基准测试中表现优异，能够更快到达目标并提高对环境变化的适应性。

📝 摘要（中文）

长时间的机器人移动操作需要持续推理定位、环境变化和任务进展，这些都难以仅通过图像观察来推断。本文展示了基于时空特征图的移动操作策略如何改善长时间推理。该图将环境和机器人身体表示为共享潜在空间中的神经点，并通过自我中心观测和本体状态在线更新。我们通过物体级刚性跟踪更新环境神经点，通过前向运动学更新机器人神经点。我们将时空环境和机器人特征图（SERF）作为视觉-语言-动作模型的状态输入，通过从多个参考帧和空间尺度提取图令牌，为策略提供局部和全局上下文。实验表明，SERF VLA策略在BEHAVIOR-1K基准测试中优于仅基于图像的基线，能够更快到达子目标，改善对场景配置变化的鲁棒性，并从物体掉落故障中恢复。

🔬 方法详解

问题定义：本文旨在解决长时间移动操作中环境推理的挑战，现有方法在处理环境变化和任务进展时存在局限，难以仅依赖图像信息进行有效推理。

核心思路：论文提出的SERF方法通过构建时空特征图，将环境和机器人身体表示为共享潜在空间中的神经点，利用自我中心观测和本体状态进行在线更新，从而增强了对长时间任务的推理能力。

技术框架：整体架构包括环境神经点和机器人神经点的构建与更新，采用物体级刚性跟踪更新环境神经点，使用前向运动学更新机器人神经点。SERF图作为视觉-语言-动作模型的输入，提取多个参考帧和空间尺度的图令牌。

关键创新：SERF的主要创新在于将环境和机器人表示为神经点，并通过时空特征图提供局部与全局上下文，这一设计显著提升了长时间推理的准确性和鲁棒性。

关键设计：在技术细节上，采用了物体级刚性跟踪和前向运动学的结合，确保了环境和机器人状态的实时更新，损失函数设计上注重对长时间任务的适应性。网络结构则通过多模态融合实现了信息的有效整合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SERF VLA策略在BEHAVIOR-1K基准测试中显著优于仅基于图像的基线，能够更快到达子目标，提升了对场景配置变化的鲁棒性，并成功从物体掉落故障中恢复，展示了其在长时间移动操作中的有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在家庭环境中的机器人移动操作任务中。通过提升机器人在复杂环境中的推理能力，SERF可以应用于智能家居、服务机器人等领域，未来可能推动家庭自动化和人机协作的发展。

📄 摘要（原文）

Long-horizon robot mobile manipulation requires continual reasoning about localization, environment changes, and task progress, all of which are challenging to infer from image observations alone. In this paper, we show that conditioning a mobile manipulation policy on a spatiotemporal feature map improves reasoning over long horizons. The map represents the environment and the articulated robot body as neural points in a shared latent space and is updated online from egocentric observations and proprioceptive state. We update the environment neural points using object-level rigid tracking and the robot neural points using forward kinematics. We use our spatiotemporal environment and robot feature (SERF) map as a state input to a vision-language-action (VLA) model by extracting map tokens from multiple reference frames and spatial scales, providing the policy with both local and global context. We demonstrate SERF on BEHAVIOR-1K, a benchmark for long-horizon mobile manipulation in household environments. Experiments show that the SERF VLA policy outperforms image-only baselines, reaches subgoals faster by following more direct trajectories, improves robustness to scene-configuration shifts, and recovers from object-drop failures.