UniMem: Unifying Multimodal Memory and Control for Vision-Language-Action Models
作者: Lars Osterberg, Maggie Wang, Mac Schwager
分类: cs.RO, cs.CV
发布日期: 2026-08-24
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出UniMem框架以解决多模态记忆与控制的挑战
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态记忆 视觉-语言-动作 机器人控制 长时间任务 关键帧编码
📋 核心要点
- 现有的VLA模型在处理需要记忆的非马尔可夫任务时表现不佳，且通常依赖额外的VLM，导致训练效率低下。
- UniMem框架通过将多模态记忆与控制整合在一个模型中，采用事件分类器和关键帧编码器来优化记忆管理和控制策略。
- 实验结果显示，UniMem在仿真任务中达到了93.4%的准确率，显著高于68.2%的固定间隔基线，在硬件任务中也优于传统分层方法，提升幅度达到80.0%对比43.5%。
📝 摘要（中文）
尽管视觉-语言-动作（VLA）模型通过互联网规模的预训练和任务专注的微调在长时间任务上取得了良好表现，但在需要记忆的非马尔可夫任务中仍面临挑战。现有的记忆管理方法通常依赖额外的视觉-语言模型（VLM），导致记忆瓶颈和训练流程的碎片化。为了解决这些问题，本文提出了UniMem框架，该框架将高层次的多模态记忆与低层次的控制统一在一个主干网络下。UniMem采用事件分类器进行记忆更新，关键帧编码器用于密集空间记忆，并通过关键帧缓存技术在策略回滚期间最小化开销。实验结果表明，UniMem在五个仿真任务和四个硬件任务中表现优于固定间隔图像采样基线和分层基线，同时提供更快的推理速度和简化的训练流程。
🔬 方法详解
问题定义：本文旨在解决现有VLA模型在处理非马尔可夫任务时的记忆管理不足，现有方法通常依赖额外的VLM，导致训练效率低下和记忆瓶颈。
核心思路：UniMem框架通过将多模态记忆与控制整合在一个主干网络中，采用事件分类器进行记忆更新，关键帧编码器用于密集空间记忆，从而提升模型在长时间任务中的表现。
技术框架：UniMem的整体架构包括事件分类器、关键帧编码器和关键帧缓存技术。事件分类器负责实时更新记忆，关键帧编码器用于提取空间特征，而关键帧缓存则在策略回滚时减少计算开销。
关键创新：UniMem的主要创新在于将高层次的多模态记忆与低层次的控制统一在一个模型中，避免了传统方法中记忆管理的碎片化和效率低下的问题。
关键设计：在设计中，UniMem采用了特定的损失函数来优化记忆更新过程，并通过关键帧编码器的结构设计来增强空间特征的提取能力，确保模型在推理时的高效性。
🖼️ 关键图片
📊 实验亮点
在实验中，UniMem在五个仿真任务中达到了93.4%的准确率，显著高于68.2%的固定间隔图像采样基线；在四个硬件任务中，UniMem的表现也优于传统的分层基线，达到了80.0%对比43.5%，同时提供了更快的推理速度。
🎯 应用场景
UniMem框架的潜在应用场景包括机器人控制、自动驾驶、智能家居等领域，能够有效处理需要长时间记忆和复杂决策的任务。其简化的训练流程和高效的推理能力使得该模型在实际应用中具有较高的价值和影响力。
📄 摘要（原文）
While Vision-Language-Action (VLA) models have leveraged internet-scale pretraining and task-focused finetuning to achieve strong performance on long-horizon tasks, they often struggle with non-Markovian tasks that require memory. Existing approaches to memory typically involve additional Vision-Language-Models (VLMs) for long-term memory management, introducing a memory bottleneck and a fractured training pipeline. Conditioning on multiple historical frames can provide the VLA with access to more descriptive features of past scenes, but can degrade performance if frames are chosen at arbitrary, fixed intervals. To address these limitations, we present UniMem, a framework that unifies high-level, multimodal memory and low-level control under one backbone. UniMem employs an event classifier for memory updates, a keyframe encoder for dense spatial memory, and a keyframe caching technique to minimize overhead during policy rollouts. We evaluate UniMem across five simulation and four hardware tasks targeting sequential and spatial memory, demonstrating that our unified, single-model system outperforms fixed-interval image sampling baselines (93.4% vs. 68.2%) in simulation and hierarchical baselines (80.0% vs. 43.5%) in hardware, while offering faster inference and a simple training pipeline for easy adoption. Project website: https://losterberg3.github.io/unimem-vla/