LHManip: A Dataset for Long-Horizon Language-Grounded Manipulation Tasks in Cluttered Tabletop Environments

📄 arXiv: 2312.12036v3 📥 PDF

作者: Federico Ceola, Lorenzo Natale, Niko Sünderhauf, Krishan Rana

分类: cs.RO, cs.AI

发布日期: 2023-12-19 (更新: 2024-07-01)

备注: RSS 2024 Workshop on Data Generation for Robotics

🔗 代码/项目: GITHUB

💡 一句话要点

提出LHManip数据集，用于训练长时程语言引导的桌面操作机器人

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长时程操作 机器人数据集 语言引导 模仿学习 桌面操作 多视角数据 Open X-Embodiment

📋 核心要点

  1. 现有语言条件模仿学习和离线强化学习在短时程任务中表现出色，但缺乏长时程、多步骤任务的数据集支持。
  2. LHManip数据集通过真实机器人遥操作演示，提供了200个长时程操作任务的episode，包含多种子任务和自然语言指令。
  3. 该数据集包含丰富的多视角相机数据，可用于点云或NeRF重建，为机器人学习长时程操作提供了宝贵资源。

📝 摘要（中文）

本文提出了长时程操作（LHManip）数据集，旨在解决机器人领域中长时程、多步骤操作任务数据集匮乏的问题。该数据集包含200个真实机器人遥操作演示的episode，涵盖20种不同的操作任务，例如抓取、推动、堆叠和投掷物体，场景设置在高度杂乱的桌面环境中。每个任务都配有自然语言指令，并提供多视角的相机数据，可用于点云或NeRF重建。数据集总共包含176,278个观察-动作对，并且是Open X-Embodiment数据集的一部分。LHManip数据集已公开。

🔬 方法详解

问题定义：现有机器人操作任务的数据集通常集中于短时程任务，无法满足家庭服务机器人等需要执行复杂、长时程任务的需求。缺乏足够规模和多样性的长时程操作数据集，阻碍了相关算法的开发和性能提升。

核心思路：通过真实机器人遥操作的方式，收集包含多种操作任务和子任务的长时程操作数据。每个任务都配有自然语言指令，使得机器人能够学习理解语言指令并执行相应的操作序列。同时，提供多视角的相机数据，为机器人感知和环境理解提供支持。

技术框架：LHManip数据集的构建流程主要包括以下几个阶段：首先，定义20种不同的操作任务，涵盖抓取、推动、堆叠和投掷等基本操作。然后，通过人工遥操作真实机器人，完成这些任务的演示，并记录机器人的状态、动作以及环境的视觉信息。每个任务都配有自然语言指令，用于指导机器人的操作。最后，对收集到的数据进行清洗和整理，构建成可供机器学习算法使用的数据集。

关键创新：LHManip数据集的关键创新在于其长时程性和多样性。与现有数据集相比，LHManip数据集包含更长的操作序列和更复杂的任务，能够更好地反映真实世界中的机器人操作场景。此外，该数据集还提供了多视角的相机数据和自然语言指令，为机器人学习提供了更丰富的信息。

关键设计：数据集包含200个 episodes，每个 episode 对应一个完整的操作任务。每个 episode 包含多个 observation-action 对，记录了机器人在每个时间步的状态、动作以及环境的视觉信息。相机数据包括 RGB 图像和深度图像，可以用于点云或 NeRF 重建。自然语言指令采用简洁明了的语言描述，用于指导机器人的操作。

📊 实验亮点

LHManip数据集包含200个 episodes，涵盖20种不同的操作任务，总共包含176,278个 observation-action 对。该数据集是 Open X-Embodiment 数据集的一部分，可以与其他数据集进行组合使用，进一步提升机器人学习的效果。通过在该数据集上训练，机器人能够学习执行复杂的长时程操作任务，并具备一定的泛化能力。

🎯 应用场景

LHManip数据集可用于训练各种机器人学习算法，例如模仿学习、强化学习和语言条件学习。该数据集能够帮助机器人学习理解自然语言指令，并执行复杂的长时程操作任务。潜在应用领域包括家庭服务机器人、工业自动化和医疗辅助机器人等，能够提升机器人的自主性和智能化水平。

📄 摘要（原文）

Instructing a robot to complete an everyday task within our homes has been a long-standing challenge for robotics. While recent progress in language-conditioned imitation learning and offline reinforcement learning has demonstrated impressive performance across a wide range of tasks, they are typically limited to short-horizon tasks -- not reflective of those a home robot would be expected to complete. While existing architectures have the potential to learn these desired behaviours, the lack of the necessary long-horizon, multi-step datasets for real robotic systems poses a significant challenge. To this end, we present the Long-Horizon Manipulation (LHManip) dataset comprising 200 episodes, demonstrating 20 different manipulation tasks via real robot teleoperation. The tasks entail multiple sub-tasks, including grasping, pushing, stacking and throwing objects in highly cluttered environments. Each task is paired with a natural language instruction and multi-camera viewpoints for point-cloud or NeRF reconstruction. In total, the dataset comprises 176,278 observation-action pairs which form part of the Open X-Embodiment dataset. The full LHManip dataset is made publicly available at https://github.com/fedeceola/LHManip.