GenH2R: Learning Generalizable Human-to-Robot Handover via Scalable Simulation, Demonstration, and Imitation

📄 arXiv: 2401.00929v2 📥 PDF

作者: Zifan Wang, Junyu Chen, Ziqing Chen, Pengwei Xie, Rui Chen, Li Yi

分类: cs.RO, cs.CV

发布日期: 2024-01-01 (更新: 2024-06-14)

备注: The project page is https://GenH2R.github.io/, accepted by CVPR2024

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出GenH2R框架以解决人机交互中的物品交接问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting)

关键词: 人机交接 模仿学习 自动演示生成 3D模拟 视觉-运动策略

📋 核心要点

  1. 现有的人机交接方法在处理未知几何物体和复杂轨迹时表现不佳，缺乏通用性。
  2. 论文提出了一种综合解决方案，通过大规模模拟、自动演示生成和模仿学习来实现H2R交接技能的学习。
  3. 实验结果表明，GenH2R在模拟器和现实环境中均显著提高了成功率，至少提升了10%。

📝 摘要（中文）

本文提出了GenH2R框架，旨在学习可推广的基于视觉的人机（H2R）物品交接技能。目标是使机器人能够可靠地接收人类以各种复杂轨迹交接的未知几何物体。通过程序化模拟资产创建、自动演示生成和有效的模仿学习，论文实现了大规模的H2R交接学习。利用大规模3D模型库、灵巧抓取生成方法和基于曲线的3D动画，创建了名为 extit{simabbns}的H2R交接模拟环境，场景数量超越现有模拟器三个数量级。此外，提出了一种友好的演示生成方法，自动生成一百万个高质量的演示，最后通过未来预测目标增强的4D模仿学习方法，将演示提炼为视觉-运动交接策略。在模拟器和现实世界中的实验评估显示，所有情况下的成功率均显著提高（至少+10%）。

🔬 方法详解

问题定义：本文旨在解决机器人在复杂环境中接收未知几何物体的能力不足，现有方法在处理多样化物体和轨迹时存在局限性。

核心思路：通过构建一个大规模的H2R交接模拟环境，并结合自动演示生成和模仿学习，来提升机器人的交接能力和通用性。

技术框架：整体架构包括三个主要模块：程序化模拟资产创建、自动演示生成和4D模仿学习。首先，利用3D模型库和抓取生成方法创建丰富的模拟场景；其次，自动生成高质量的演示以供学习；最后，通过模仿学习提炼出有效的交接策略。

关键创新：最重要的创新在于引入了一个名为 extit{simabbns}的模拟环境，场景数量超越现有模拟器三个数量级，极大丰富了训练数据。此外，演示生成方法的自动化和4D模仿学习的结合也是显著的创新。

关键设计：在演示生成中，采用了高质量的3D动画和曲线基础的运动规划，确保生成的演示具有高效性和多样性。模仿学习中引入了未来预测目标，以增强学习效果和策略的适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GenH2R在各类模拟器和现实环境中的成功率均提升了至少10%，相较于基线方法表现出显著的优势。这一成果验证了所提出方法的有效性和可推广性。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、工业自动化和人机协作等场景。通过提升机器人在复杂环境中的物品交接能力，能够显著提高工作效率和安全性，推动智能机器人在实际应用中的普及和发展。

📄 摘要（原文）

This paper presents GenH2R, a framework for learning generalizable vision-based human-to-robot (H2R) handover skills. The goal is to equip robots with the ability to reliably receive objects with unseen geometry handed over by humans in various complex trajectories. We acquire such generalizability by learning H2R handover at scale with a comprehensive solution including procedural simulation assets creation, automated demonstration generation, and effective imitation learning. We leverage large-scale 3D model repositories, dexterous grasp generation methods, and curve-based 3D animation to create an H2R handover simulation environment named \simabbns, surpassing the number of scenes in existing simulators by three orders of magnitude. We further introduce a distillation-friendly demonstration generation method that automatically generates a million high-quality demonstrations suitable for learning. Finally, we present a 4D imitation learning method augmented by a future forecasting objective to distill demonstrations into a visuo-motor handover policy. Experimental evaluations in both simulators and the real world demonstrate significant improvements (at least +10\% success rate) over baselines in all cases. The project page is https://GenH2R.github.io/.