CLAP: Cross-Embodiment Video World Models are Zero-Shot Physical Simulators

📄 arXiv: 2608.27406v1 📥 PDF

作者: Kechen Liu, Ola Shorinwa

分类: cs.RO, cs.AI, cs.CV

发布日期: 2026-08-27

💡 一句话要点

提出CLAP以解决跨机器人体的物理模拟问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 跨机器人体学习 动作条件视频生成 物理模拟 课程学习 多模态融合

📋 核心要点

  1. 现有的动作条件视频模型通常只能针对单一机器人体，限制了其对多样化视频数据的学习能力。
  2. CLAP通过调和不同的动作空间和引入课程学习策略，解决了跨机器人体学习的挑战。
  3. 在复杂环境中，CLAP的性能接近或超过了现有的单一机器人体模型，并通过少量样本适应实现了显著提升。

📝 摘要（中文）

现有的基于动作条件的视频模型通常局限于单一机器人体，无法充分利用丰富的异构视频数据来学习可推广的物理规律。为了解决这一问题，本文提出了CLAP框架，能够在多样化的人类和机器人视频上进行跨机器人体的动作条件视频生成。CLAP的核心在于普遍物理法则支配时空动态的洞察。通过使用末端执行器姿态、语言指令和潜在动作，CLAP调和了不同的动作空间，并引入基于课程的跨机器人体学习策略，首先在未标记视频数据上学习基础物理先验，然后将其应用于实际任务。CLAP在复杂环境中接近或超越了现有的单一机器人体视频模型，并通过少量样本适应建立了新的训练范式。最终，CLAP提供了迄今为止最全面的动作条件视频世界模型。

🔬 方法详解

问题定义：本文旨在解决现有动作条件视频模型在跨机器人体学习中的局限性，特别是如何有效利用异构视频数据来学习通用物理规律。现有方法在动作表示上存在显著差异，且人类视频中通常缺乏明确的动作信息。

核心思路：CLAP的核心思路是通过末端执行器姿态、语言指令和潜在动作来调和不同的动作空间，并采用课程学习策略，先在未标记视频数据上学习物理先验，再将其应用于实际任务。

技术框架：CLAP的整体架构包括两个主要阶段：第一阶段是通过潜在动作在未标记视频数据上学习基础物理先验，第二阶段是将这些先验与末端执行器动作空间结合，实现零-shot部署。

关键创新：CLAP的关键创新在于其跨机器人体学习能力，能够有效整合不同机器人和人类的动作信息，克服了传统模型的局限性。

关键设计：在设计上，CLAP使用了多种动作表示方式，并通过课程学习策略优化了模型训练过程，确保了在复杂环境中的高效性能。具体的损失函数和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在复杂环境DROID中，CLAP的性能接近或超过了现有的单一机器人体视频模型，展示了其在跨机器人体学习中的优势。通过少量样本适应，CLAP实现了显著的性能提升，标志着新训练范式的建立。

🎯 应用场景

CLAP框架具有广泛的潜在应用场景，包括机器人控制、虚拟现实、自动驾驶等领域。其能够在多样化的环境中进行有效的物理模拟，为机器人与人类的交互提供了新的可能性，未来可能推动智能系统的普及与发展。

📄 摘要（原文）

State-of-the-art action-conditioned video models are typically restricted to a single robot embodiment, preventing them from leveraging the vast corpus of heterogeneous video data that contains rich signals for learning generalizable physics. To bridge this gap, we introduce CLAP, a framework for cross-embodiment action-conditioned video generation capable of being trained on diverse, internet-scale videos across human and robotic agents. CLAP is grounded in the insight that universal physical laws govern spatiotemporal dynamics regardless of the actor. However, cross-embodiment learning is non-trivial because action representations vary sharply across robot platforms and are typically absent in human videos. CLAP addresses this fundamental challenge through the following core contributions. First, CLAP reconciles disparate action spaces using end-effector poses, language instructions, and latent actions. Second, to resolve their individual limitations, CLAP introduces a curriculum-based cross-embodiment learning recipe that first learns foundational physical priors across unlabeled video data using latent actions and subsequently grounds them in end-effector action spaces for zero-shot deployment to real-world tasks. Crucially, CLAP approaches or surpasses state-of-the-art single-embodiment video models in challenging environments like DROID. These performance advantages compound via few-shot adaptation to establish a novel paradigm for training single-embodiment video world models. Ultimately, CLAP delivers the most comprehensive suite of action-conditioned video world models to date - spanning diverse action-conditioning spaces (end-effector, language, and latent) and robot morphologies (including cross-embodiment, DROID, Bridge, bimanual YAM robots, and G1 humanoids). We open-source all code and models. Project Website at https://omni-clap.github.io .