GraspXL: Generating Grasping Motions for Diverse Objects at Scale
作者: Hui Zhang, Sammy Christen, Zicong Fan, Otmar Hilliges, Jie Song
分类: cs.RO, cs.CV
发布日期: 2024-03-28 (更新: 2024-07-12)
备注: Camera ready for ECCV2024. Project Page: https://eth-ait.github.io/graspxl/
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出GraspXL以解决多样物体抓取动作生成问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 抓取动作生成 政策学习 机器人抓取 多样物体 手部形态
📋 核心要点
- 现有抓取动作生成方法通常只关注单一目标，且依赖昂贵的3D手-物体数据，限制了其在多样物体上的应用。
- 本文提出GraspXL框架，通过政策学习统一生成多目标抓取动作，支持多种物体形状和手部形态。
- 实验结果表明，该方法在未见物体上成功率达到82.2%，并能为每个物体生成多样的抓取方式。
📝 摘要（中文）
人类手部具有灵活性，可以与多种物体进行交互，如抓取特定部位或从期望方向接近物体。现有方法通常仅针对单一目标生成抓取动作，并依赖昂贵的3D手-物体数据，限制了其在未见物体上的应用。本文提出GraspXL框架，统一生成多目标、多形状和多种手部形态的抓取动作。该框架无需3D手-物体交互数据，经过58个物体训练后，能够为超过50万个未见物体合成多样的抓取动作，成功率达到82.2%。
🔬 方法详解
问题定义：本文旨在解决现有抓取动作生成方法在多样物体和目标上的局限性，尤其是对3D手-物体数据的依赖，使得在未见物体上生成抓取动作变得困难。
核心思路：GraspXL框架通过政策学习整合多个抓取目标，包括抓取区域、接近方向、手腕旋转和手部位置，从而实现对多样物体的抓取动作生成。
技术框架：该框架包括数据预处理、政策网络训练和抓取动作生成三个主要模块。首先，利用58个物体进行政策网络的训练，然后生成针对超过50万个未见物体的抓取动作。
关键创新：最重要的创新在于无需3D手-物体交互数据，能够在多样物体上生成高成功率的抓取动作，显著提升了生成的灵活性和适应性。
关键设计：在政策网络中，设计了多目标损失函数以平衡不同抓取目标的权重，同时采用了适应性网络结构以支持不同手部形态的抓取生成。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GraspXL框架在未见物体上的抓取成功率达到82.2%，相比于现有方法有显著提升。此外，该框架能够为每个物体生成多样的抓取方式，展示了其在多样性和适应性方面的优势。
🎯 应用场景
该研究具有广泛的应用潜力，特别是在机器人抓取、自动化仓储和人机交互等领域。通过提高机器人对多样物体的抓取能力，可以显著提升自动化系统的灵活性和效率，推动智能制造和服务机器人技术的发展。
📄 摘要（原文）
Human hands possess the dexterity to interact with diverse objects such as grasping specific parts of the objects and/or approaching them from desired directions. More importantly, humans can grasp objects of any shape without object-specific skills. Recent works synthesize grasping motions following single objectives such as a desired approach heading direction or a grasping area. Moreover, they usually rely on expensive 3D hand-object data during training and inference, which limits their capability to synthesize grasping motions for unseen objects at scale. In this paper, we unify the generation of hand-object grasping motions across multiple motion objectives, diverse object shapes and dexterous hand morphologies in a policy learning framework GraspXL. The objectives are composed of the graspable area, heading direction during approach, wrist rotation, and hand position. Without requiring any 3D hand-object interaction data, our policy trained with 58 objects can robustly synthesize diverse grasping motions for more than 500k unseen objects with a success rate of 82.2%. At the same time, the policy adheres to objectives, which enables the generation of diverse grasps per object. Moreover, we show that our framework can be deployed to different dexterous hands and work with reconstructed or generated objects. We quantitatively and qualitatively evaluate our method to show the efficacy of our approach. Our model, code, and the large-scale generated motions are available at https://eth-ait.github.io/graspxl/.