Motion-Focused Latent Action Enables Cross-Embodiment VLA Training from Human EgoVideos

📄 arXiv: 2606.18955 📥 PDF

作者: Runze Xu, Yiluo Zhang, Jian Wang, Yu Wang, Jincheng Yu

分类: cs.CV, cs.RO

发布日期: 2026-07-05

💡 一句话要点

提出基于潜在动作的框架以解决无标签人类视频训练问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 潜在动作 无标签学习 混合解耦 机器人操作

📋 核心要点

  1. 现有的VLA模型训练依赖于大量标注数据，导致数据获取成本高且难以覆盖多样性。
  2. 提出了一种基于潜在动作的框架，通过解耦运动动态与环境背景，从未标记视频中提取动作先验。
  3. 实验结果显示，本文方法在无标签人类视频上预训练后，性能与使用大规模标注数据集的最先进模型相当。

📝 摘要（中文）

训练通用的视觉-语言-动作（VLA）模型通常需要大量多样化的机器人数据集及高保真动作注释。然而，虽然自我中心的人类操作视频丰富且捕捉了显著的环境多样性，但缺乏动作标签使其在传统训练范式中难以使用。为此，本文提出了一种基于潜在动作的框架，旨在从未标记的人类视频中提取通用动作先验。该架构采用混合解耦的VQ-VAE，通过物理掩码将运动动态与环境背景解耦，从而构建跨体现的动作代码本。通过在这些人类视频上进行预训练，VLM主干网络学习到动作意图的深层表示。为了适应特定体现，本文引入了意图-感知解耦策略，使VLM预测动作意图，而一个独立的冻结视觉编码器提供状态特定特征，从而减少动作幻觉。实验结果表明，本文方法在模拟和真实环境中表现出色，且仅需50条轨迹即可进行下游适应。

🔬 方法详解

问题定义：本文旨在解决在缺乏动作标签的情况下，如何有效利用自我中心人类视频进行VLA模型训练的问题。现有方法依赖于大量标注数据，限制了其应用范围。

核心思路：提出了一种潜在动作框架，通过混合解耦的VQ-VAE架构，将运动动态与环境背景分离，从而提取通用的动作先验。这种设计使得模型能够在未标记数据上进行有效学习。

技术框架：整体架构包括两个主要模块：混合解耦的VQ-VAE用于构建动作代码本，和VLM主干网络用于学习动作意图。通过预训练和意图-感知解耦策略，模型能够适应不同的体现。

关键创新：最重要的创新在于引入了混合解耦的VQ-VAE架构，使得模型能够从未标记视频中有效提取动作先验，与传统依赖标注数据的方法形成鲜明对比。

关键设计：在网络结构上，采用了物理掩码来实现运动动态与环境背景的解耦；损失函数设计上，结合了动作意图预测和状态特征的解耦，以减少动作幻觉。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，本文方法在模拟和真实环境中表现优异，预训练仅需50条轨迹即可进行下游适应，且在性能上与使用大规模标注数据集的最先进VLA模型相当，展示了显著的效率提升。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化控制和人机交互等。通过利用未标记的人类视频，能够降低数据标注成本，提升模型的泛化能力，未来可能推动更广泛的智能系统应用。

📄 摘要（原文）

Training generalist Vision-Language-Action(VLA) models typically requires massive, diverse robotic datasets with high-fidelity action annotations. While egocentric human manipulation videos are abundant and capture significant environmental diversity, the absence of action labels makes them difficult to use in conventional training paradigms. To address this, we propose a latent-action-based framework designed to extract general action priors from unlabeled human videos. The architecture features a Hybrid Disentangled VQ-VAE that decouples motion dynamics from environmental backgrounds through physical masks, enabling the construction of a cross-embodiment action codebook. By pre-training on human videos with the codebook, the VLM backbone learns deep representations of action intent. For adaptation to specific embodiments, we introduce an intent-perception decoupling strategy where the VLM predicts the action intent while a separate frozen visual encoder provides state-specific features to the action expert, thereby reducing action hallucinations. Results in simulation and real-world environments show that our method, pre-trained exclusively on unlabeled human videos, performs competitively with state-of-the-art VLA models trained on massive annotated datasets, requiring only 50 trajectories for downstream adaptation.