EmbodiedVAE: Disentangled Video VAE for Efficient and Controllable Embodied Manipulation

📄 arXiv: 2608.02990v1 📥 PDF

作者: Jiayi Luo, Hanxin Zhu, Chen Gao, Jiankun Wang, Cong Wang, Tianyu He, Jianxin Li, Zhibo Chen

分类: cs.RO

发布日期: 2026-08-04

备注: ECCV 2026

💡 一句话要点

提出EmbodiedVAE以解决现有LDM在机器人操作中的控制问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)

关键词: 潜在扩散模型 变分自编码器 机器人操作 时空压缩 动作控制 一致性模块 深度学习

📋 核心要点

  1. 现有的潜在扩散模型在处理机器人操作时未能有效考虑场景特征，导致潜在表示不够紧凑和可控。
  2. 本文提出EmbodiedVAE，通过双编码器和单解码器架构，自动解耦机器人运动与背景，提供可控的潜在表示。
  3. 实验结果显示，EmbodiedVAE在重建质量上优于现有方法，压缩率高，且在动作控制精度上有显著提升。

📝 摘要（中文）

潜在扩散模型（LDMs）在构建强大的机器人操作世界模型方面取得了显著进展。然而，现有的LDMs主要依赖于针对自然场景优化的变分自编码器（VAEs），未能考虑机器人操作场景的独特特征，导致潜在表示既不紧凑也不易控制，从而阻碍了LDMs的高效训练和精确的机器人控制。为了解决这一问题，本文提出了EmbodiedVAE，这是一种新颖的视频VAE，提供了针对机器人操作世界模型量身定制的紧凑且可控的潜在表示。EmbodiedVAE采用双编码器、单解码器架构，并引入不对称时空压缩模块，自动将机器人手臂的运动与背景环境解耦，从而实现整体紧凑性，同时提供明确的潜在表示以支持细粒度的动作控制。通过引入基于最优传输的一致性模块，进一步保持学习到的机器人运动潜在的时间一致性。大量实验表明，EmbodiedVAE在重建质量和压缩率上优于现有最先进的视频VAEs，并在机器人操作场景中实现了平均2dB的PSNR提升。

🔬 方法详解

问题定义：本文旨在解决现有变分自编码器在机器人操作场景中潜在表示不紧凑且不可控的问题。现有方法未能有效处理机器人操作的独特特征，影响了LDMs的训练效率和控制精度。

核心思路：EmbodiedVAE通过引入双编码器和单解码器架构，结合不对称时空压缩模块，自动将机器人手臂的运动与背景环境解耦，从而实现紧凑且可控的潜在表示。

技术框架：EmbodiedVAE的整体架构包括双编码器用于提取运动和背景特征，单解码器用于重建视频，同时引入基于最优传输的一致性模块以保持时间一致性。

关键创新：最重要的创新在于引入了不对称时空压缩模块和基于最优传输的一致性模块，使得潜在表示不仅紧凑，还能有效保持运动的连贯性。

关键设计：在网络结构上，采用双编码器架构，分别处理运动和背景信息；损失函数设计上，结合重建损失和一致性损失，以确保潜在表示的质量和时间一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EmbodiedVAE在重建质量上实现了显著提升，平均PSNR提高了2dB，相较于现有最先进的视频VAEs，压缩率也得到了优化，显示出更高的效率和控制精度。

🎯 应用场景

EmbodiedVAE在机器人操作、自动化制造和智能家居等领域具有广泛的应用潜力。通过提供高效的潜在表示，该方法能够提升机器人在复杂环境中的操作精度和灵活性，推动智能机器人技术的发展。

📄 摘要（原文）

Latent diffusion models (LDMs) have recently significantly advanced embodied learning in constructing powerful embodied manipulation world models. However, despite the remarkable performance, existing LDMs predominantly rely on Variational Autoencoders (VAEs) optimized for natural scenes while failing to account for the unique characteristics of embodied manipulation scenarios, yielding latent representations that are neither compact nor controllable, thereby hindering efficient training of LDMs and precise robotic control. To solve this problem, we present EmbodiedVAE, a novel video VAE that provides compact yet controllable latent representations tailored for the robotic manipulation world models. Specifically, EmbodiedVAE adopts a dual-encoder, single-decoder architecture with an asymmetric spatio-temporal compression module, which automatically disentangles the robot arm's motion from background environment, resulting in overall compactness while providing explicit embodied latent to support fine-grained action control. To further preserve the temporal consistency of learned robotic motion latent, we introduce an optimal-transport-based consistency module that explicitly enforces motion fidelity and inter-frame coherence. Extensive experiments demonstrate that our proposed EmbodiedVAE achieves superior reconstruction quality with high compression rate, while enabling more precise action control in robotic manipulation scenarios with an average of 2dB PSNR improvement over state-of-the-art video VAEs.