TAPESTRY: A Single Backbone for Video Generation and Robot Control
作者: Jeremy A. Collins, Seungjae Lee, Rachanon Wachakorn, Krishnan Srinivasan, Animesh Garg, Vitor Campagnolo Guizilini, Paarth Shah
分类: cs.RO, cs.AI, cs.CV, cs.LG
发布日期: 2026-10-27
备注: Accepted to Conference on Robot Learning (CoRL) 2026
💡 一句话要点
提出TAPESTRY以解决视频生成与机器人控制的高成本问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视频生成 机器人控制 预训练模型 变换器 动作标记 高效推理 动态先验
📋 核心要点
- 现有方法在机器人控制中需要高成本的视频生成或从头训练的动作头，无法充分利用预训练模型的优势。
- TAPESTRY通过将机器人动作视为视频模型潜在空间中的单补丁标记，避免了推理时的视频生成。
- 在仿真基准和真实机器人实验中，TAPESTRY实现了强大的性能，推理成本显著低于可比的联合视频-动作策略。
📝 摘要（中文）
预训练的视频生成模型能够编码丰富的物理交互先验，但在机器人控制中通常需要在测试时进行资源密集型的视频生成，或从头训练的动作头无法充分利用预训练的主干。本文提出了TAPESTRY（将动作标记为视频补丁的共享变换器策略），该世界动作模型将预训练的视频扩散变换器重新用于机器人策略，无需在推理时生成视频。核心思想是将机器人动作视为视频模型潜在空间中的单补丁标记。通过轻量级线性投影将每个动作时间步映射到预训练VAE的补丁维度，生成的标记通过与视频相同的补丁层和变换器主干进行处理。该共享主干通过每个小批量元素采样的三个扩散目标进行优化，最终在测试时模型从纯噪声生成紧凑的动作标记序列。
🔬 方法详解
问题定义：论文要解决的问题是如何有效利用预训练的视频生成模型进行机器人控制，而不需要在推理时进行高成本的视频生成。现有方法在这一点上存在明显的不足。
核心思路：论文的核心思路是将机器人动作视为视频模型潜在空间中的单补丁标记，通过轻量级线性投影将动作时间步映射到预训练VAE的补丁维度，从而实现高效的机器人控制。
技术框架：整体架构包括三个主要模块：视频扩散模块、联合视频+动作扩散模块和动作仅扩散模块。视频扩散模块使用来自机器人和人类视频的VAE潜在值建立动态先验，联合视频+动作扩散模块在机器人演示上训练，动作仅扩散模块则在干净图像潜在值的条件下去噪。
关键创新：最重要的技术创新点是将机器人动作视为视频模型的补丁标记，并通过共享的变换器主干进行处理，这与现有方法的本质区别在于避免了推理时的完整视频生成。
关键设计：关键设计包括轻量级线性投影的参数设置、损失函数的选择，以及使用非对称注意力掩码的联合扩散训练策略等技术细节。通过这些设计，模型能够在推理时以每个动作块84毫秒的速度生成平滑的动作序列。
🖼️ 关键图片
📊 实验亮点
在实验中，TAPESTRY在仿真基准和真实机器人实验中表现出色，推理成本显著低于可比的联合视频-动作策略，且在每个动作块的生成时间仅为84毫秒，展示了其高效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括自主机器人、智能家居系统和人机交互等。通过高效的机器人控制策略，TAPESTRY能够在实际应用中显著降低计算成本，提高响应速度，推动机器人技术的普及与发展。
📄 摘要（原文）
Pretrained video generation models encode rich priors about physical interactions, but leveraging them for robot control typically requires either resource-intensive video generation at test time or action heads trained from scratch that do not fully utilize the pretrained backbone. We introduce Tokenizing Actions as Video Patches in a Shared Transformer Policy (TAPESTRY), a world action model that repurposes a pretrained video diffusion transformer into a robotic policy without requiring video generation at inference. Our key idea is to treat robot actions as single-patch tokens in the video model's latent space. A lightweight linear projection maps each action timestep to the patch dimensions of the pretrained VAE, and the resulting tokens are processed by the same patchifying layers and transformer backbone used for video. The shared backbone is optimized through three diffusion objectives sampled per minibatch element: Video diffusion uses VAE latents from robot and human videos to establish dynamics priors. Joint video+action diffusion trains on robot demonstrations using a coupled diffusion timestep and an asymmetric attention mask. Action-only diffusion denoises actions conditioned on clean image latents. At test time, the model generates a compact action token sequence in a single DDIM step from pure noise, producing smooth action chunks at 84 ms per action chunk on consumer hardware and avoiding the cost of full video generation. Across simulation benchmarks and real-robot experiments, TAPESTRY achieves strong performance with substantially lower inference cost than comparable joint video--action policies. More information can be found at https://tapestry-wam.github.io.