M2T2: Multi-Task Masked Transformer for Object-centric Pick and Place
作者: Wentao Yuan, Adithyavairavan Murali, Arsalan Mousavian, Dieter Fox
分类: cs.RO, cs.AI, cs.CV
发布日期: 2023-11-02
备注: 12 pages, 8 figures, accepted by CoRL 2023
💡 一句话要点
提出M2T2以解决多任务物体抓取与放置问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 物体操作 变换器模型 多任务学习 机器人抓取 零-shot迁移 合成数据集 高层决策 低层动作
📋 核心要点
- 现有模型在处理未知物体时，低层动作原语的泛化能力不足，导致高层决策效果不佳。
- M2T2通过变换器模型推理接触点，能够在杂乱场景中对任意物体进行多种低层动作的预测。
- 在128K场景的大规模合成数据集上训练后，M2T2在真实机器人上实现了显著的性能提升。
📝 摘要（中文）
随着大型语言模型和大规模机器人数据集的出现，物体操作的高层决策能力取得了显著进展。这些通用模型能够通过语言指令理解复杂任务，但在处理未知物体时常常面临低层动作原语的泛化困难。相比之下，现有的任务特定模型在未知物体的低层操作上表现优异，但仅适用于单一类型的动作。为了解决这一问题，本文提出了M2T2，一个能够在杂乱场景中对任意物体提供多种低层动作的单一模型。M2T2是一个变换器模型，能够推理接触点并根据场景的原始点云预测有效的夹持器姿态。经过在128K场景的大规模合成数据集上训练，M2T2在真实机器人上实现了零-shot的sim2real迁移，整体性能比基线系统和最先进的任务特定模型提高了约19%，在需要重新定向物体以避免碰撞的挑战性场景中提升了37.5%。
🔬 方法详解
问题定义：本文旨在解决现有物体操作模型在处理未知物体时的低层动作泛化能力不足的问题。现有的任务特定模型虽然在低层操作上表现良好，但仅限于单一动作类型，无法满足多样化的操作需求。
核心思路：M2T2的核心思路是利用变换器模型来推理物体的接触点，并根据场景的点云数据预测有效的夹持器姿态，从而实现对不同类型动作的支持。这样的设计使得模型能够在复杂和杂乱的场景中灵活应对多种物体操作任务。
技术框架：M2T2的整体架构包括数据输入模块（原始点云）、变换器模型（用于推理接触点和夹持器姿态）以及输出模块（执行不同类型的低层动作）。模型通过大规模合成数据集进行训练，以增强其泛化能力。
关键创新：M2T2的主要创新在于其能够在一个统一的框架中处理多种低层动作，而不是依赖于多个任务特定模型。这种方法显著提升了模型在复杂场景中的适应性和灵活性。
关键设计：在模型设计中，采用了特定的损失函数来优化接触点的预测精度，并通过调整网络结构来提高模型对不同动作模式的适应能力。
🖼️ 关键图片
📊 实验亮点
M2T2在真实机器人上实现了零-shot的sim2real迁移，整体性能比基线系统提高约19%，在需要重新定向物体的挑战性场景中提升了37.5%。该模型在RLBench的语言条件任务中也取得了最先进的结果，展示了其强大的泛化能力。
🎯 应用场景
M2T2的研究成果在机器人抓取与放置任务中具有广泛的应用潜力，尤其是在复杂和动态环境中。该模型能够有效处理未知物体的操作，提升机器人在实际应用中的灵活性和效率，未来可应用于家庭服务、工业自动化等领域。
📄 摘要（原文）
With the advent of large language models and large-scale robotic datasets, there has been tremendous progress in high-level decision-making for object manipulation. These generic models are able to interpret complex tasks using language commands, but they often have difficulties generalizing to out-of-distribution objects due to the inability of low-level action primitives. In contrast, existing task-specific models excel in low-level manipulation of unknown objects, but only work for a single type of action. To bridge this gap, we present M2T2, a single model that supplies different types of low-level actions that work robustly on arbitrary objects in cluttered scenes. M2T2 is a transformer model which reasons about contact points and predicts valid gripper poses for different action modes given a raw point cloud of the scene. Trained on a large-scale synthetic dataset with 128K scenes, M2T2 achieves zero-shot sim2real transfer on the real robot, outperforming the baseline system with state-of-the-art task-specific models by about 19% in overall performance and 37.5% in challenging scenes where the object needs to be re-oriented for collision-free placement. M2T2 also achieves state-of-the-art results on a subset of language conditioned tasks in RLBench. Videos of robot experiments on unseen objects in both real world and simulation are available on our project website https://m2-t2.github.io.