Any-point Trajectory Modeling for Policy Learning

📄 arXiv: 2401.00025v3 📥 PDF

作者: Chuan Wen, Xingyu Lin, John So, Kai Chen, Qi Dou, Yang Gao, Pieter Abbeel

分类: cs.RO, cs.CV

发布日期: 2023-12-28 (更新: 2024-07-12)

备注: 18 pages, 15 figures

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出Any-point Trajectory Modeling，利用视频数据提升策略学习效果

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 策略学习 视频预训练 轨迹预测 模仿学习 机器人操作 视觉运动策略

📋 核心要点

  1. 收集带动作标签的机器人演示数据成本高昂，限制了策略学习的效率。
  2. ATM通过预训练轨迹模型预测视频中任意点的轨迹，为策略学习提供控制指导。
  3. 实验表明，ATM在多种任务中显著优于现有视频预训练方法，并支持跨形态迁移。

📝 摘要（中文）

本文提出了一种新颖的框架，即Any-point Trajectory Modeling (ATM)，它利用视频演示数据，通过预训练一个轨迹模型来预测视频帧内任意点的未来轨迹。训练完成后，这些轨迹能够提供详细的控制指导，从而可以使用最少的动作标签数据学习鲁棒的视觉运动策略。在超过130个语言条件任务的模拟和真实世界评估中，ATM的性能平均优于强大的视频预训练基线80%。此外，我们还展示了从人类视频和来自不同机器人形态的视频中有效迁移操作技能的能力。项目代码和可视化结果已公开。

🔬 方法详解

问题定义：论文旨在解决从无动作标签的视频数据中提取控制信息，并将其用于策略学习的问题。现有方法难以有效利用视频数据，需要大量的动作标签数据进行训练，成本高昂。

核心思路：论文的核心思路是训练一个轨迹模型，该模型能够预测视频帧中任意点的未来轨迹。这些轨迹可以作为控制策略学习的指导信号，从而减少对动作标签数据的依赖。通过预测任意点的轨迹，模型能够捕捉视频中的运动信息和潜在的控制策略。

技术框架：ATM框架包含两个主要阶段：1) 轨迹模型预训练阶段：利用大量的无标签视频数据，训练一个模型来预测视频帧中任意点的未来轨迹。该模型以视频帧和目标点坐标作为输入，输出该点在未来一段时间内的轨迹。2) 策略学习阶段：利用预训练的轨迹模型提供的轨迹信息，结合少量的动作标签数据，学习控制策略。策略学习可以使用各种强化学习或模仿学习算法。

关键创新：ATM的关键创新在于其能够从无标签视频中提取控制相关的轨迹信息，并将其用于策略学习。与传统的视频预训练方法不同，ATM直接预测轨迹，从而提供了更细粒度的控制指导。此外，ATM的任意点预测能力使其能够捕捉视频中不同对象的运动信息，从而提高了模型的泛化能力。

关键设计：轨迹模型可以使用各种神经网络结构，例如卷积神经网络（CNN）和循环神经网络（RNN）。损失函数可以采用均方误差（MSE）或交叉熵损失，用于衡量预测轨迹与真实轨迹之间的差异。在策略学习阶段，可以使用模仿学习算法，例如行为克隆（Behavior Cloning），将预训练的轨迹模型作为教师信号，指导策略学习。

📊 实验亮点

ATM在超过130个语言条件任务的模拟和真实世界评估中，平均优于强大的视频预训练基线80%。此外，实验还证明了ATM能够有效地将操作技能从人类视频和来自不同机器人形态的视频中迁移，展示了其强大的泛化能力和迁移学习能力。

🎯 应用场景

ATM可应用于机器人操作、自动驾驶、游戏AI等领域。通过利用大量的在线视频数据，可以降低机器人学习新技能的成本，提高机器人的智能化水平。例如，可以利用人类操作视频训练机器人完成复杂的装配任务，或者利用自动驾驶视频训练无人车进行安全驾驶。

📄 摘要（原文）

Learning from demonstration is a powerful method for teaching robots new skills, and having more demonstration data often improves policy learning. However, the high cost of collecting demonstration data is a significant bottleneck. Videos, as a rich data source, contain knowledge of behaviors, physics, and semantics, but extracting control-specific information from them is challenging due to the lack of action labels. In this work, we introduce a novel framework, Any-point Trajectory Modeling (ATM), that utilizes video demonstrations by pre-training a trajectory model to predict future trajectories of arbitrary points within a video frame. Once trained, these trajectories provide detailed control guidance, enabling the learning of robust visuomotor policies with minimal action-labeled data. Across over 130 language-conditioned tasks we evaluated in both simulation and the real world, ATM outperforms strong video pre-training baselines by 80% on average. Furthermore, we show effective transfer learning of manipulation skills from human videos and videos from a different robot morphology. Visualizations and code are available at: \url{https://xingyu-lin.github.io/atm}.