Scaling Short-Term Memory of Visuomotor Policies for Long-Horizon Tasks
作者: Rutav Shah, Rajat Kumar Jenamani, Xiaohan Zhang, Lingfeng Sun, Roberto Martín-Martín, Yuke Zhu, Deva Ramanan, Karl Schmeckpeper
分类: cs.RO
发布日期: 2026-06-15
备注: 14 pages, 9 Figures, 8 Tables
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出PRISM以解决长时间任务中的短期记忆问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 短期记忆 视觉运动策略 门控注意力 分层架构 机器人控制 模仿学习 基准测试
📋 核心要点
- 现有的视觉运动策略大多依赖即时感官输入，缺乏对短期记忆的有效利用，限制了其在长时间任务中的表现。
- 本文提出PRISM，通过门控注意力和分层架构来增强短期记忆的利用，旨在改善决策过程中的信息过滤和依赖关系捕捉。
- 实验结果表明，PRISM在多个基准测试中相较于无记忆变体和其他先进基线有显著提升，绝对提升幅度达到11%-15%。
📝 摘要（中文）
许多机器人任务需要短期记忆，例如在物体不可见时进行抓取或在设定时间后关闭设备。然而，大多数通过模仿学习训练的视觉运动策略仅依赖于即时感官输入，而未利用过去的经验来指导决策。本文提出了PRISM，一种基于变换器的视觉运动策略架构，通过两个关键组件有效利用短期记忆：一是门控注意力，过滤检索信息以抑制无关细节，从而减少历史与当前动作预测之间的虚假相关性；二是分层架构，首先将局部信息压缩为紧凑的标记，然后整合以捕捉时间扩展的依赖关系。通过这些机制，PRISM能够将短期记忆扩展至两分钟。为系统评估视觉运动控制中的记忆，本文引入了ReMemBench，一个涵盖八个多样化家庭操作任务的基准，旨在促进通用记忆机制的发展。PRISM在多个基准测试中表现优异，显著超越了现有方法。
🔬 方法详解
问题定义：本文旨在解决视觉运动策略在长时间任务中对短期记忆的不足，现有方法多依赖即时输入，无法有效利用历史信息，导致决策性能受限。
核心思路：PRISM通过引入门控注意力和分层架构来增强短期记忆的利用，门控注意力用于过滤无关信息，而分层架构则帮助捕捉时间扩展的依赖关系，从而提升决策质量。
技术框架：PRISM的整体架构包括两个主要模块：首先是门控注意力机制，用于选择性地关注重要的历史信息；其次是分层信息压缩模块，将局部信息转化为紧凑的标记，并整合这些标记以捕捉长时间依赖。
关键创新：PRISM的创新在于其结合了门控注意力和分层架构，显著提升了短期记忆的利用效率，与传统的递归神经网络和变换器架构相比，能够更好地处理长时间任务中的信息流。
关键设计：在设计上，PRISM采用了特定的参数设置以优化门控机制的性能，并在损失函数中引入了对历史信息的加权，以确保模型在训练过程中能够有效学习到重要的时间依赖关系。
🖼️ 关键图片
📊 实验亮点
PRISM在RoboCasa和LIBERO基准测试中表现优异，相较于无记忆变体和其他先进基线（如GR00T-N1-3B和OpenVLA），实现了11%-15%的绝对提升，展示了其在短期记忆利用上的显著优势。
🎯 应用场景
该研究的潜在应用领域包括家庭机器人、智能家居设备和自动化生产线等场景，能够提升机器人在复杂环境中的自主决策能力。未来，PRISM有望推动更广泛的短期记忆增强技术的发展，提升机器人在动态和不确定环境中的适应性。
📄 摘要（原文）
Many robotic tasks require short-term memory, whether it's retrieving an object that's no longer visible or turning off an appliance after a set period. Yet, most visuomotor policies trained via imitation learning rely only on immediate sensory input without using past experiences to guide decisions. We present PRISM, a transformer-based architecture for visuomotor policies to effectively use short-term memory via two key components: (i) gated attention, which filters retrieved information to suppress irrelevant details, improving performance by reducing the spurious correlations between the history and current action prediction, (ii) a hierarchical architecture that first compresses local information into compact tokens and then integrates them to capture temporally extended dependencies, improving its compute and memory footprint. Together, these mechanisms enable us to scale short-term memory in visuomotor policies for up to two minutes. To systematically evaluate memory in visuomotor control, we introduce ReMemBench -- a benchmark of eight diverse household manipulation tasks spanning four categories of short-term memory -- designed to foster general memory mechanisms rather than siloed, task-specific solutions. PRISM consistently outperforms prior works, including recurrent architectures, transformers, and their variants -- achieving an absolute improvement of 5%--12% over the strongest baseline. On the RoboCasa and LIBERO benchmarks, it achieves absolute improvements of 11%--15% over its no-memory variant and fine-tuned Vision-Language-Action baselines such as GR00T-N1-3B and OpenVLA, despite not leveraging any large-scale pretraining. Together, PRISM and ReMemBench establish a foundation for developing and evaluating short-term memory-augmented visuomotor policies that scale to long-horizon tasks. Additional materials are available at https://shahrutav.github.io/short-term-memory