mimic-video: Video-Action Models for Generalizable Robot Control Beyond VLAs

📄 arXiv: 2512.15692v1 📥 PDF

作者: Jonas Pai, Liam Achenbach, Victoriano Montesinos, Benedek Forrai, Oier Mees, Elvis Nava

分类: cs.RO, cs.AI, cs.CV, cs.LG

发布日期: 2025-12-17

💡 一句话要点

提出mimic-video以解决机器人控制中的物理理解问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频-动作模型 机器人控制 物理因果关系 样本效率 动态理解 多模态学习 逆动态模型

📋 核心要点

  1. 现有的视觉-语言-动作模型在推断物理动态和时间依赖性方面存在显著不足，导致数据收集负担加重。
  2. 本文提出了一种视频-动作模型，通过视频预训练捕捉语义和视觉动态，简化低级控制任务。
  3. 实验结果显示，该方法在机器人操作任务中实现了最先进的性能，样本效率和收敛速度均有显著提升。

📝 摘要（中文）

现有的视觉-语言-动作模型（VLA）在机器人操作中依赖于大规模的静态网页数据进行预训练，导致其在推断复杂物理动态和时间依赖性方面存在不足。本文提出了一种新颖的视频-动作模型（VAM），通过结合预训练的互联网视频模型和基于流匹配的动作解码器，旨在同时捕捉语义和视觉动态，从而提高低级控制的效率。实验结果表明，该方法在模拟和真实世界的机器人操作任务中表现出色，样本效率提高了10倍，收敛速度提升了2倍。

🔬 方法详解

问题定义：本文旨在解决现有视觉-语言-动作模型在机器人控制中对复杂物理动态和时间依赖性推断的不足，导致数据收集需求高昂的问题。

核心思路：提出的视频-动作模型（VAM）通过结合视频预训练和流匹配的动作解码器，能够同时捕捉语义信息和视觉动态，从而有效降低对专家数据的依赖。

技术框架：该模型的整体架构包括一个预训练的互联网视频模型和一个基于流匹配的动作解码器，后者根据视频空间的潜在表示生成低级机器人动作。

关键创新：最重要的创新在于将视频信息与动作生成相结合，形成逆动态模型（IDM），与传统的视觉-语言模型相比，更加注重物理因果关系的捕捉。

关键设计：在模型设计中，采用了流匹配机制来优化动作解码过程，确保生成的低级动作能够有效反映视频中的动态信息，同时在损失函数的设计上也进行了针对性的调整，以提升模型的学习效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，mimic-video方法在模拟和真实世界的机器人操作任务中达到了最先进的性能，样本效率提高了10倍，收敛速度提升了2倍，相较于传统的视觉-语言-动作架构具有显著优势。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化制造和人机交互等。通过提升机器人对物理动态的理解能力，能够在复杂环境中实现更高效的操作，推动智能机器人技术的实际应用和发展。

📄 摘要（原文）

Prevailing Vision-Language-Action Models (VLAs) for robotic manipulation are built upon vision-language backbones pretrained on large-scale, but disconnected static web data. As a result, despite improved semantic generalization, the policy must implicitly infer complex physical dynamics and temporal dependencies solely from robot trajectories. This reliance creates an unsustainable data burden, necessitating continuous, large-scale expert data collection to compensate for the lack of innate physical understanding. We contend that while vision-language pretraining effectively captures semantic priors, it remains blind to physical causality. A more effective paradigm leverages video to jointly capture semantics and visual dynamics during pretraining, thereby isolating the remaining task of low-level control. To this end, we introduce \model, a novel Video-Action Model (VAM) that pairs a pretrained Internet-scale video model with a flow matching-based action decoder conditioned on its latent representations. The decoder serves as an Inverse Dynamics Model (IDM), generating low-level robot actions from the latent representation of video-space action plans. Our extensive evaluation shows that our approach achieves state-of-the-art performance on simulated and real-world robotic manipulation tasks, improving sample efficiency by 10x and convergence speed by 2x compared to traditional VLA architectures.