UltraDexGrasp: Learning Universal Dexterous Grasping for Bimanual Robots with Synthetic Data
作者: Sizhe Yang, Yiman Xie, Zhixuan Liang, Yang Tian, Jia Zeng, Dahua Lin, Jiangmiao Pang
分类: cs.RO
发布日期: 2026-03-05
备注: Published at International Conference on Robotics and Automation (ICRA) 2026
🔗 代码/项目: GITHUB
💡 一句话要点
UltraDexGrasp：面向双臂机器人的通用灵巧抓取学习框架，基于合成数据。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion)
关键词: 双臂机器人 灵巧抓取 合成数据 Sim-to-Real 通用抓取 点云处理 注意力机制
📋 核心要点
- 现有机器人抓取在多策略场景下受限，双臂灵巧抓取尤其缺乏，主要瓶颈在于高质量数据的获取。
- UltraDexGrasp框架结合优化抓取合成与规划演示生成，创建大规模多策略抓取数据集，提升数据质量与多样性。
- 基于合成数据训练的抓取策略，通过单向注意力聚合特征，实现零样本迁移，真实世界抓取成功率达81.2%。
📝 摘要（中文）
抓取是机器人与物理世界交互的基本能力。人类能够根据物体的形状、大小和重量自主选择合适的抓取策略，从而实现鲁棒的抓取和后续操作。相比之下，目前的机器人抓取仍然有限，尤其是在多策略设置中。尽管大量的研究集中在平行夹爪和单手抓取上，但双臂机器人的灵巧抓取仍然未被充分探索，数据是主要的瓶颈。实现能够承受外部扭矩的物理上合理且几何上一致的抓取姿态带来了巨大的挑战。为了解决这些问题，我们提出了UltraDexGrasp，一个用于双臂机器人通用灵巧抓取的框架。所提出的数据生成流程集成了基于优化的抓取合成和基于规划的演示生成，从而产生了高质量和多样化的跨多种抓取策略的轨迹。通过这个框架，我们整理了UltraDexGrasp-20M，一个大规模、多策略的抓取数据集，包含1000个物体的2000万帧数据。基于UltraDexGrasp-20M，我们进一步开发了一个简单而有效的抓取策略，该策略以点云作为输入，通过单向注意力聚合场景特征，并预测控制命令。该策略完全在合成数据上训练，实现了鲁棒的零样本sim-to-real迁移，并在具有不同形状、大小和重量的新物体上始终成功，在真实世界的通用灵巧抓取中达到了平均81.2%的成功率。为了促进未来对双臂机器人抓取的研究，我们开源了数据生成流程。
🔬 方法详解
问题定义：论文旨在解决双臂机器人通用灵巧抓取问题。现有方法在多策略抓取场景下表现不足，且缺乏大规模、高质量的训练数据，难以实现鲁棒的抓取和sim-to-real迁移。现有方法难以生成物理上合理且几何上一致的抓取姿态，无法有效应对外部扰动。
核心思路：论文的核心思路是通过合成数据生成技术，构建一个大规模、多样化的抓取数据集，用于训练一个能够进行通用灵巧抓取的策略。通过优化抓取合成和规划演示生成，确保数据的质量和多样性，从而克服数据瓶颈。
技术框架：UltraDexGrasp框架包含两个主要模块：数据生成pipeline和抓取策略学习。数据生成pipeline首先通过优化算法合成抓取姿态，然后利用规划算法生成抓取轨迹。抓取策略学习模块则利用生成的数据集训练一个基于点云输入的抓取策略，该策略通过单向注意力机制聚合场景特征，并预测控制命令。
关键创新：论文的关键创新在于数据生成pipeline，它结合了优化抓取合成和规划演示生成，能够生成高质量、多样化的抓取数据。与传统方法相比，该pipeline能够更有效地生成物理上合理且几何上一致的抓取姿态，从而提高抓取策略的鲁棒性和泛化能力。此外，使用单向注意力机制来聚合场景特征也是一个创新点，可以有效地提取点云中的关键信息。
关键设计：数据生成pipeline中，优化算法的目标函数需要仔细设计，以确保生成的抓取姿态的稳定性和可行性。规划算法需要考虑机器人的运动学和动力学约束，以生成平滑的抓取轨迹。抓取策略的网络结构和损失函数也需要精心设计，以提高策略的性能和泛化能力。单向注意力机制的具体实现方式，例如注意力头的数量和维度，也需要进行实验验证。
🖼️ 关键图片
📊 实验亮点
该论文提出的方法在真实世界中取得了显著的成果，平均抓取成功率达到81.2%。该策略完全在合成数据上训练，实现了零样本sim-to-real迁移，表明了该方法的鲁棒性和泛化能力。实验结果表明，该方法能够有效地处理具有不同形状、大小和重量的新物体。
🎯 应用场景
该研究成果可应用于工业自动化、家庭服务机器人、医疗机器人等领域。例如，在工业自动化中，双臂机器人可以用于装配、搬运等任务，提高生产效率和灵活性。在家庭服务机器人中，可以用于整理物品、辅助家务等。在医疗机器人中，可以用于辅助手术、康复训练等。该研究为双臂机器人通用灵巧抓取提供了新的解决方案，具有重要的实际应用价值和未来发展潜力。
📄 摘要（原文）
Grasping is a fundamental capability for robots to interact with the physical world. Humans, equipped with two hands, autonomously select appropriate grasp strategies based on the shape, size, and weight of objects, enabling robust grasping and subsequent manipulation. In contrast, current robotic grasping remains limited, particularly in multi-strategy settings. Although substantial efforts have targeted parallel-gripper and single-hand grasping, dexterous grasping for bimanual robots remains underexplored, with data being a primary bottleneck. Achieving physically plausible and geometrically conforming grasps that can withstand external wrenches poses significant challenges. To address these issues, we introduce UltraDexGrasp, a framework for universal dexterous grasping with bimanual robots. The proposed data-generation pipeline integrates optimization-based grasp synthesis with planning-based demonstration generation, yielding high-quality and diverse trajectories across multiple grasp strategies. With this framework, we curate UltraDexGrasp-20M, a large-scale, multi-strategy grasp dataset comprising 20 million frames across 1,000 objects. Based on UltraDexGrasp-20M, we further develop a simple yet effective grasp policy that takes point clouds as input, aggregates scene features via unidirectional attention, and predicts control commands. Trained exclusively on synthetic data, the policy achieves robust zero-shot sim-to-real transfer and consistently succeeds on novel objects with varied shapes, sizes, and weights, attaining an average success rate of 81.2% in real-world universal dexterous grasping. To facilitate future research on grasping with bimanual robots, we open-source the data generation pipeline at https://github.com/InternRobotics/UltraDexGrasp.