$μ$VLA: On Recurrent Memory for Partially Observable Manipulation in VLA Models
作者: Egor Cherepanov, Nikita Kachaev, Daniil Zelezetsky, Aydar Bulatov, Artem Pshenitsyn, Yuri Kuratov, Alexey Skrynnik, Aleksandr I. Panov, Alexey K. Kovalev
分类: cs.LG, cs.RO
发布日期: 2026-06-12
💡 一句话要点
提出μVLA以解决部分可观测操作中的记忆问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 记忆增强 部分可观测 递归机制 自注意力 机器人操作 智能决策
📋 核心要点
- 现有的视觉-语言-动作模型在部分可观测环境中表现不佳，无法有效利用不可见信息进行决策。
- 本文提出μVLA，通过在变换器中引入可学习的记忆标记，利用自注意力机制进行更新，从而增强模型的记忆能力。
- 在MIKASA-Robo和LIBERO任务上，μVLA显著提高了成功率，验证了其在不同记忆结构下的有效性。
📝 摘要（中文）
视觉-语言-动作（VLA）模型从当前观察中预测未来动作，但在部分可观测情况下，这一假设失效。现有的记忆增强VLA方法在引入递归、检索、压缩模块等方面存在复杂性，使得递归本身的贡献难以单独评估。本文通过对强大的预训练VLA骨干网络进行控制性隔离研究，提出了一种新的记忆增强方法μVLA。该方法通过自注意力机制更新一小组可学习的记忆标记，经过时间截断的反向传播训练，且没有附加损失和架构变化。实验结果表明，μVLA在MIKASA-Robo任务上成功率从0.42提升至0.84，并在LIBERO任务上实现96.2%的成功率，验证了最小内嵌递归的有效性。
🔬 方法详解
问题定义：本文旨在解决部分可观测环境中，视觉-语言-动作模型在决策时无法利用不可见信息的问题。现有方法在引入记忆增强时，递归的贡献与其他复杂模块交织，难以单独评估。
核心思路：提出μVLA，通过在变换器中引入一小组可学习的记忆标记，利用自注意力机制在时间步间更新这些标记，从而增强模型的记忆能力，且不依赖于附加损失或架构变化。
技术框架：μVLA的整体架构基于强大的预训练VLA骨干网络，主要模块包括可学习的记忆标记、时间截断的反向传播机制和自注意力更新机制。模型的训练过程是端到端的，确保了记忆更新的有效性。
关键创新：最重要的创新在于将递归记忆机制与现有的VLA架构相结合，而不引入复杂的辅助模块，使得递归的贡献可以被清晰地评估。
关键设计：μVLA的关键参数包括记忆宽度m、时间截断长度K和记忆更新规则（交叉步梯度或独立的EMA），这些设计确保了递归是唯一变化的因素。
🖼️ 关键图片
📊 实验亮点
在MIKASA-Robo任务上，μVLA的平均成功率从0.42提升至0.84，而在相同记忆结构的持出任务上成功率为0.23，相比于无记忆基线的0.07有显著提升。在LIBERO任务中，最强递归变体达到了96.2%的平均成功率，表明在完全可观测情况下没有回归。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化控制和智能助手等场景，能够在部分可观测环境中提高决策能力，具有重要的实际价值和影响。未来，μVLA的设计理念可能会推动更多记忆增强模型的发展，提升其在复杂任务中的表现。
📄 摘要（原文）
Vision-language-action (VLA) models predict chunks of future actions from the current observation, an assumption that fails under partial observability, where decisions depend on information no longer visible. Existing memory-augmented VLAs simultaneously introduce recurrence, retrieval, compression modules, auxiliary objectives, hierarchical memory, or task-specific architectural changes, so the contribution of recurrence itself remains entangled with surrounding machinery. We present a controlled isolation study of recurrence in a strong pretrained VLA backbone. Our formulation augments the transformer with a small set of learnable memory tokens carried across timesteps and updated through self-attention, trained end to end with truncated backpropagation through time, with no auxiliary losses and no architectural changes. We instantiate this as $\mu$VLA, a family of OpenVLA-OFT variants parameterized by memory width m, TBPTT length K, and the memory update rule (cross-step gradients or a detached EMA), so that recurrence is the only varying factor. On MIKASA-Robo, $\mu$VLA improves average success rate on five training tasks from 0.42 to 0.84 at the strongest setting and reaches 0.23 on held-out tasks with the same memory structure versus 0.07 for the memoryless baseline. On tasks requiring different memory structure, performance remains near baseline. On LIBERO, the strongest recurrent variant achieves 96.2% average success, indicating no regression under full observability. We interpret these results as a calibration of the capability envelope of minimal in-backbone recurrence, identifying the regime in which it is sufficient and the regime where additional memory structure is required. Demos and videos can be found inthis https URL.