Vid2Robot: End-to-end Video-conditioned Policy Learning with Cross-Attention Transformers

📄 arXiv: 2403.12943v2 📥 PDF

作者: Vidhi Jain, Maria Attarian, Nikhil J Joshi, Ayzaan Wahid, Danny Driess, Quan Vuong, Pannag R Sanketi, Pierre Sermanet, Stefan Welker, Christine Chan, Igor Gilitschenski, Yonatan Bisk, Debidatta Dwibedi

分类: cs.RO, cs.AI

发布日期: 2024-03-19 (更新: 2024-08-27)

备注: Robotics: Science & Systems (RSS) 2024. https://vid2robot.github.io/

💡 一句话要点

提出Vid2Robot以解决机器人学习人类操作意图的问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视频条件学习 跨注意力变换器 机器人操作 人类意图理解 多任务学习

📋 核心要点

  1. 现有的机器人学习方法通常依赖文本描述任务，缺乏通过观察人类学习的能力，限制了其适应性和灵活性。
  2. Vid2Robot通过输入人类操作视频，利用跨注意力变换器学习人类和机器人动作的统一表示，从而实现视频条件策略学习。
  3. 在真实机器人实验中，Vid2Robot相较于基线BC-Z实现了超过20%的性能提升，并展示了跨物体运动转移的能力。

📝 摘要（中文）

大规模多任务机器人操作系统通常依赖文本来指定任务。本研究探讨机器人是否可以通过观察人类来学习。为此，机器人必须理解人类的意图，并在不同的环境和表现形式下执行推断的任务。我们提出了Vid2Robot，这是一种端到端的视频条件策略，输入为展示操作任务的人类视频，输出为机器人动作。我们的模型通过大量的提示视频-机器人轨迹对进行训练，以学习人类和机器人动作的统一表示。Vid2Robot使用跨注意力变换器层在视频特征和当前机器人状态之间生成动作，并执行与视频中展示的相同任务。我们使用辅助对比损失来对齐提示和机器人视频表示，从而提高策略的效果。我们在真实机器人上评估Vid2Robot，观察到使用人类提示视频时，相较于BC-Z提升超过20%。此外，我们还展示了跨物体运动转移能力，使得视频条件策略能够将提示视频中观察到的运动转移到机器人自身环境中的另一个物体上。

🔬 方法详解

问题定义：本论文旨在解决机器人如何通过观察人类视频学习操作任务的问题。现有方法主要依赖文本描述，缺乏灵活性和适应性，难以处理不同环境和表现形式的任务。

核心思路：论文提出的Vid2Robot模型通过输入人类操作视频，利用跨注意力变换器层在视频特征和机器人状态之间建立联系，从而生成相应的机器人动作。这种设计使得机器人能够更好地理解人类意图并执行任务。

技术框架：Vid2Robot的整体架构包括视频输入模块、跨注意力变换器层、动作生成模块和辅助对比损失模块。视频输入模块提取人类操作的视频特征，跨注意力变换器层将这些特征与当前机器人状态结合，最终生成机器人动作。

关键创新：Vid2Robot的核心创新在于使用跨注意力机制来对齐人类视频特征与机器人状态，从而实现更高效的策略学习。这一方法与传统的基于文本的策略学习方法有本质区别。

关键设计：模型采用辅助对比损失来增强提示视频与机器人动作之间的对齐，确保学习到的策略更具鲁棒性和准确性。网络结构中，跨注意力变换器层的设计是关键，能够有效处理视频特征与机器人状态的交互。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，Vid2Robot在真实机器人上实现了超过20%的性能提升，相较于基线BC-Z表现更为优越。此外，模型展示了跨物体运动转移能力，能够将观察到的运动有效转移到不同物体上，显示出其广泛的应用潜力。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、工业自动化和人机协作等场景。通过使机器人能够通过观察人类学习操作，Vid2Robot有望提高机器人在复杂环境中的适应能力和灵活性，推动智能机器人技术的发展。

📄 摘要（原文）

Large-scale multi-task robotic manipulation systems often rely on text to specify the task. In this work, we explore whether a robot can learn by observing humans. To do so, the robot must understand a person's intent and perform the inferred task despite differences in the embodiments and environments. We introduce Vid2Robot, an end-to-end video-conditioned policy that takes human videos demonstrating manipulation tasks as input and produces robot actions. Our model is trained with a large dataset of prompt video-robot trajectory pairs to learn unified representations of human and robot actions from videos. Vid2Robot uses cross-attention transformer layers between video features and the current robot state to produce the actions and perform the same task as shown in the video. We use auxiliary contrastive losses to align the prompt and robot video representations for better policies. We evaluate Vid2Robot on real-world robots and observe over 20% improvement over BC-Z when using human prompt videos. Further, we also show cross-object motion transfer ability that enables video-conditioned policies to transfer a motion observed on one object in the prompt video to another object in the robot's own environment. Videos available at https://vid2robot.github.io