RT-Trajectory: Robotic Task Generalization via Hindsight Trajectory Sketches

📄 arXiv: 2311.01977v2 📥 PDF

作者: Jiayuan Gu, Sean Kirmani, Paul Wohlhart, Yao Lu, Montserrat Gonzalez Arenas, Kanishka Rao, Wenhao Yu, Chuyuan Fu, Keerthana Gopalakrishnan, Zhuo Xu, Priya Sundaresan, Peng Xu, Hao Su, Karol Hausman, Chelsea Finn, Quan Vuong, Ted Xiao

分类: cs.RO, cs.AI

发布日期: 2023-11-03 (更新: 2023-11-06)

备注: Evaluation videos can be found at https://rt-trajectory.github.io/

💡 一句话要点

提出RT-Trajectory以解决机器人任务泛化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人学习 任务泛化 轨迹草图 策略条件 人机交互 自动化方法

📋 核心要点

  1. 现有方法在新任务泛化上存在局限，例如语言条件策略无法从抓取任务泛化到折叠任务。
  2. 本文提出RT-Trajectory，通过粗略轨迹草图来表示任务，从而实现更好的任务泛化能力。
  3. 实验结果显示，RT-Trajectory在多种任务上表现优于现有的语言条件和目标条件策略，能够处理更广泛的任务。

📝 摘要（中文）

泛化能力是构建稳健机器人学习系统的重要目标之一。尽管近期提出的方法在对新物体、语义概念或视觉分布变化的泛化上显示出潜力，但对新任务的泛化仍然具有挑战性。本文的关键见解是，通过粗略的轨迹草图表示任务，可以使这种泛化变得可行。我们提出了一种基于轨迹草图的策略条件方法RT-Trajectory，实用且易于指定，使得策略能够有效执行原本难以完成的新任务。实验表明，RT-Trajectory在多种真实世界的机器人任务中表现优于基于语言和目标条件的策略。

🔬 方法详解

问题定义：本文旨在解决机器人学习系统在新任务泛化上的困难，现有方法在处理不同类型任务时表现不佳，尤其是当任务之间存在相似的运动轨迹时。

核心思路：我们提出通过粗略的轨迹草图来表示任务，这种表示方式既能提供足够的运动指导，又能让学习策略在特定的视觉环境中进行解释和调整。

技术框架：RT-Trajectory的整体架构包括轨迹草图生成模块、策略条件模块和执行模块。轨迹草图可以通过简单的人类输入或自动化方法生成，策略根据草图进行调整以执行任务。

关键创新：最重要的创新在于使用粗略轨迹草图作为任务表示，这种方法在细节和灵活性之间取得了平衡，允许机器人在多种任务中进行有效泛化。

关键设计：在设计中，我们考虑了轨迹草图的生成方式、与策略的结合方式，以及如何通过简单的输入（如绘图或视频）来指定任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RT-Trajectory在多种真实世界任务中表现优异，相较于传统的语言条件和目标条件策略，能够处理更广泛的任务，提升幅度显著。具体而言，在相同训练数据下，RT-Trajectory的任务执行成功率提高了XX%。

🎯 应用场景

该研究的潜在应用领域包括家庭服务机器人、工业自动化和人机协作等场景。通过提高机器人对新任务的适应能力，RT-Trajectory能够显著提升机器人在复杂环境中的实用性和灵活性，推动智能机器人技术的发展。

📄 摘要（原文）

Generalization remains one of the most important desiderata for robust robot learning systems. While recently proposed approaches show promise in generalization to novel objects, semantic concepts, or visual distribution shifts, generalization to new tasks remains challenging. For example, a language-conditioned policy trained on pick-and-place tasks will not be able to generalize to a folding task, even if the arm trajectory of folding is similar to pick-and-place. Our key insight is that this kind of generalization becomes feasible if we represent the task through rough trajectory sketches. We propose a policy conditioning method using such rough trajectory sketches, which we call RT-Trajectory, that is practical, easy to specify, and allows the policy to effectively perform new tasks that would otherwise be challenging to perform. We find that trajectory sketches strike a balance between being detailed enough to express low-level motion-centric guidance while being coarse enough to allow the learned policy to interpret the trajectory sketch in the context of situational visual observations. In addition, we show how trajectory sketches can provide a useful interface to communicate with robotic policies: they can be specified through simple human inputs like drawings or videos, or through automated methods such as modern image-generating or waypoint-generating methods. We evaluate RT-Trajectory at scale on a variety of real-world robotic tasks, and find that RT-Trajectory is able to perform a wider range of tasks compared to language-conditioned and goal-conditioned policies, when provided the same training data.