Motion-Focused Latent Action Enables Cross-Embodiment VLA Training from Human EgoVideos
作者: Runze Xu, Yiluo Zhang, Jian Wang, Yu Wang, Jincheng Yu
分类: cs.CV, cs.RO
发布日期: 2026-06-17
备注: Accepted to IROS 2026
💡 一句话要点
提出基于潜在动作的框架以解决无标签人类视频训练问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 潜在动作 自我中心视频 无标签学习 跨体现适应
📋 核心要点
- 现有的VLA模型训练依赖于大量高质量的标注数据，获取这些数据成本高且耗时。
- 提出了一种基于潜在动作的框架，通过混合解耦VQ-VAE从未标记的人类视频中提取动作先验，解决了数据标注不足的问题。
- 实验结果显示，该方法在多个环境中表现优异，且仅需少量数据进行下游任务适应，具有较高的实用性。
📝 摘要（中文）
训练通用的视觉-语言-动作（VLA）模型通常需要大量多样化的机器人数据集及高保真动作注释。然而，尽管以自我为中心的人类操作视频丰富且捕捉了显著的环境多样性，但缺乏动作标签使其在传统训练范式中难以使用。为此，本文提出了一种基于潜在动作的框架，旨在从未标记的人类视频中提取通用动作先验。该架构采用混合解耦VQ-VAE，通过物理掩码将运动动态与环境背景解耦，从而构建跨体现的动作代码库。通过在这些人类视频上进行预训练，VLM主干网络学习到动作意图的深层表示。为了适应特定体现，本文引入了意图-感知解耦策略，使VLM预测动作意图，而单独的冻结视觉编码器提供状态特定特征，从而减少动作幻觉。实验结果表明，基于未标记人类视频的预训练方法在模拟和现实环境中表现出与基于大量注释数据集训练的最先进VLA模型相当的性能，仅需50条轨迹即可进行下游适应。
🔬 方法详解
问题定义：本文旨在解决在缺乏高质量动作标签的情况下，如何有效利用丰富的自我中心人类视频进行VLA模型训练的问题。现有方法依赖于大量标注数据，限制了其应用范围。
核心思路：提出了一种潜在动作框架，通过混合解耦VQ-VAE将运动动态与环境背景分离，从而构建跨体现的动作代码库，进而提取动作意图。
技术框架：整体架构包括两个主要模块：混合解耦VQ-VAE用于从人类视频中提取动作先验，意图-感知解耦策略用于在特定体现中预测动作意图与状态特征的结合。
关键创新：最重要的创新在于通过物理掩码实现运动动态与环境背景的解耦，构建了一个新的跨体现动作代码库，显著提高了模型的适应性和准确性。
关键设计：采用了特定的损失函数来优化动作意图的预测，同时冻结视觉编码器以提供状态特征，减少了动作幻觉现象，确保了模型的稳定性和可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，基于未标记人类视频的预训练方法在多个环境中表现出与最先进的VLA模型相当的性能，具体而言，仅需50条轨迹进行下游适应，相较于传统方法显著降低了数据需求。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、智能家居系统和人机交互等。通过利用未标记的人类视频数据，能够降低数据标注成本，提高模型的训练效率，推动智能系统在复杂环境中的应用。未来，该方法可能会影响多模态学习和自监督学习的发展方向。
📄 摘要（原文）
Training generalist Vision-Language-Action(VLA) models typically requires massive, diverse robotic datasets with high-fidelity action annotations. While egocentric human manipulation videos are abundant and capture significant environmental diversity, the absence of action labels makes them difficult to use in conventional training paradigms. To address this, we propose a latent-action-based framework designed to extract general action priors from unlabeled human videos. The architecture features a Hybrid Disentangled VQ-VAE that decouples motion dynamics from environmental backgrounds through physical masks, enabling the construction of a cross-embodiment action codebook. By pre-training on human videos with the codebook, the VLM backbone learns deep representations of action intent. For adaptation to specific embodiments, we introduce an intent-perception decoupling strategy where the VLM predicts the action intent while a separate frozen visual encoder provides state-specific features to the action expert, thereby reducing action hallucinations. Results in simulation and real-world environments show that our method, pre-trained exclusively on unlabeled human videos, performs competitively with state-of-the-art VLA models trained on massive annotated datasets, requiring only 50 trajectories for downstream adaptation.