Cloak: Zero-Shot Cross-Embodiment Manipulation by Masking the End-Effector from the VLA

📄 arXiv: 2606.22836v1 📥 PDF

作者: Michael Piseno, Guy Tevet, C. Karen Liu

分类: cs.RO

发布日期: 2026-06-22

💡 一句话要点

提出Cloak以实现零-shot跨体现操作的视觉语言动作模型

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言动作 跨体现转移 机器人操作 数据增强 模型泛化

📋 核心要点

  1. 现有方法在跨体现操作中面临数据依赖性强的问题，导致模型难以适应新硬件。
  2. Cloak通过遮蔽末端执行器，实现了与体现无关的视觉推理，从而增强了模型的泛化能力。
  3. Cloak-VLA在未见的体现上实现了零-shot转移，保持了源体现的性能，展示了显著的适应性。

📝 摘要（中文）

我们提出了Cloak，这是一种训练方案，通过遮蔽末端执行器来赋予视觉-语言-动作（VLA）模型零-shot跨体现转移能力。末端执行器在手腕摄像头视野中占据了一个大且一致的区域，遮蔽它可以实现与体现无关的视觉推理。Cloak在模拟中根据机器人的已知几何形状实时生成遮蔽，且无需分割或生成模型。在训练过程中，我们增强了遮蔽，以使模型能够推广到训练时未见的体现。我们通过Cloak-VLA展示了这一方案，Cloak-VLA是在单一平行夹爪数据集上训练的VLA。未收集任何新体现的数据，Cloak-VLA能够零-shot转移到多种未见的体现，包括其他夹爪、其他手臂和五指手，同时保持源体现的性能。通过将手腕视图与其自身体现解耦，Cloak使得数据能够超越其收集的硬件。

🔬 方法详解

问题定义：论文要解决的问题是如何在不同的机器人体现之间实现有效的操作转移。现有方法通常依赖于大量的训练数据，难以适应新硬件，限制了其应用范围。

核心思路：论文的核心思路是通过遮蔽末端执行器，使得模型能够在不依赖具体体现的情况下进行视觉推理。这种设计允许模型在不同的硬件上进行零-shot转移。

技术框架：整体架构包括一个VLA模型，训练过程中使用Cloak遮蔽末端执行器。该框架在模拟环境中生成遮蔽，并通过数据增强技术提升模型的泛化能力。

关键创新：最重要的技术创新点在于通过实时生成遮蔽来实现与体现无关的视觉推理，避免了传统方法中对分割或生成模型的依赖。这一创新使得模型能够在未见的体现上进行有效操作。

关键设计：在训练过程中，使用了增强的遮蔽技术，确保模型能够适应不同的体现。此外，模型的损失函数和网络结构经过精心设计，以优化其在多种任务上的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Cloak-VLA在多个未见的体现上实现了零-shot转移，包括不同的夹爪和五指手，保持了源体现的性能。实验结果表明，该模型在新硬件上的操作能力显著提升，展示了其强大的泛化能力和适应性。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和人机协作等。通过实现跨体现的操作能力，Cloak能够显著降低对新硬件的依赖，提升机器人系统的灵活性和适应性，具有广泛的实际价值和未来影响。

📄 摘要（原文）

We present Cloak, a training recipe that endows a Vision-Language-Action (VLA) model with zero-shot cross-embodiment transfer by cloaking the end-effector from its own wrist camera. The end-effector occupies a large and consistent region of the wrist view and masking it allows for embodiment-agnostic visual reasoning. Cloak renders a mask in simulation from the robot's known geometry, accurately and in real time, with no segmentation or generative models. During training, we augment the mask so the model generalizes to embodiments unseen at training time. We demonstrate the recipe with Cloak-VLA, a VLA trained with Cloak on a single parallel-jaw gripper dataset. No data of new embodiments is ever collected. Cloak-VLA transfers zero-shot to various unseen embodiments, including another gripper, another arm, and a five-fingered hand, while preserving the source embodiment's performance. By decoupling the wrist view from its own embodiment, Cloak allows data to outlive the hardware it was collected on.