Human Universal Grasping
作者: Kevin Yuanbo Wu, Tianxing Zhou, Isaac Tu, Billy Yan, Irmak Guzey, David Fouhey, Dandan Shan, Lerrel Pinto
分类: cs.RO
发布日期: 2026-06-15
备注: 28 pages, 20 figures, 7 tables
💡 一句话要点
提出HUG模型以实现人类通用抓取能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 人类抓取 流匹配模型 机器人抓取 RGB-D图像 零样本学习 智能眼镜 HUG-Bench 多指机器人
📋 核心要点
- 现有多指机器人在抓取物体时缺乏通用性，无法有效模拟人类的抓取能力。
- HUG模型通过流匹配技术，结合RGB和深度信息，生成适应不同物体的多样化人类抓取。
- 在HUG-Bench基准测试中，HUG模型在多个环境中表现优异，抓取性能提升显著。
📝 摘要（中文）
人类能够轻松抓取物体，而多指机器人在这一点上远未达到相同的普遍性。我们认为，最自然的机器人抓取数据来源于人类，他们每天都会抓取成千上万的物体。我们提出了HUG，一个流匹配模型，能够根据用户指定的物体，从立体相机捕获的单张RGB-D图像中生成多样化的人类抓取。通过智能眼镜，我们首先收集了1M-HUGs，这是一个包含100万帧（27.8小时）和6707个物体实例的自我中心人类抓取数据集。接着，我们的流匹配模型融合了RGB和深度观测，输出由手腕平移、手腕旋转和MANO手姿态参数化的抓取。预测的抓取可以重定向到各种机器人手，使得在日常场景中实现零样本抓取成为可能。为了标准化评估，我们构建了新的模拟基准HUG-Bench，包含来自五个几何类别和不同尺寸的90个未见物体。我们在真实世界中对HUG进行了评估，结果显示在HUG-Bench的30个物体测试集上，HUG在多个立体相机、机器人形态和家庭环境中超越了最先进的抓取基线，提升幅度分别为23%和34%。
🔬 方法详解
问题定义：本论文旨在解决多指机器人在抓取物体时的通用性不足问题。现有方法往往依赖于有限的抓取数据，无法有效模拟人类的灵活抓取能力。
核心思路：我们提出HUG模型，通过流匹配技术，利用RGB-D图像生成多样化的人类抓取，旨在实现机器人抓取的零样本学习。
技术框架：HUG模型的整体架构包括数据收集、流匹配模型训练和抓取重定向三个主要模块。首先，通过智能眼镜收集人类抓取数据，然后训练流匹配模型，最后将预测的抓取参数重定向到机器人手。
关键创新：HUG模型的核心创新在于其流匹配机制，能够有效融合RGB和深度信息，输出高质量的抓取参数。这一方法与传统的抓取生成方法相比，具有更高的灵活性和适应性。
关键设计：在模型设计中，我们设置了手腕平移、手腕旋转和MANO手姿态作为抓取参数，并采用了特定的损失函数来优化抓取效果。此外，模型结构经过精心设计，以确保在多种环境下的鲁棒性。
🖼️ 关键图片
📊 实验亮点
在HUG-Bench基准测试中，HUG模型在30个物体的测试集上超越了最先进的抓取基线，性能提升分别达到23%和34%。这一结果表明HUG模型在复杂环境中的抓取能力显著优于现有方法，展示了其强大的实用性和有效性。
🎯 应用场景
HUG模型的潜在应用领域包括家庭机器人、服务机器人和工业自动化等。通过实现人类级别的抓取能力，机器人能够更好地适应复杂的日常环境，提高工作效率和用户体验。未来，该技术有望在智能家居、医疗辅助和物流等多个领域发挥重要作用。
📄 摘要（原文）
Humans can grasp objects effortlessly, whereas multi-fingered robots are far from this level of generality. We argue that the most natural source of robot grasping data is from humans, who pick up thousands of objects every day. We present HUG, a flow-matching model that generates diverse human grasps for any user-specified object in a single RGB-D image captured from a stereo camera. Using smart glasses, we first collect 1M-HUGs, an egocentric dataset of human grasps spanning 1M frames (27.8 hrs) and 6,707 object instances across 41 buildings. Next, to model the distribution of natural human grasps, our novel flow-matching model fuses RGB and depth observations to output a grasp parameterized by wrist translation, wrist rotation, and MANO hand pose. Predicted grasps can be retargeted to various robot hands, enabling zero-shot grasping in everyday scenes. To standardize evaluation, we build a new simulated benchmark, HUG-Bench, of 90 unseen objects from five geometric categories and various sizes, with metric-scale 3D meshes. We evaluate HUG in the real world on the 30-object test set of HUG-Bench across multiple stereo cameras, robot embodiments, and household environments. HUG outperforms the state-of-the-art grasping baselines by +23% and +34% on our challenging object set. Code, data, benchmark, checkpoints, and an interactive demo are released on our website: https://grasping.io/