MANGO-Grasp: Mahalanobis Fields over Geometry-Oriented 3D Gaussians for Cross-Embodiment Dexterous Grasping

📄 arXiv: 2608.02014v1 📥 PDF

作者: Heng Zhang, Kevin Yuchen Ma, Mike Zheng Shou, Weisi Lin, Yan Wu

分类: cs.RO, cs.AI

发布日期: 2026-08-03

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出MANGO-Grasp以解决跨实体灵巧抓取问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)

关键词: 跨实体抓取 灵巧抓取 三维高斯原语 马哈拉诺比斯场 机器人手 形态-运动学 交互框架

📋 核心要点

  1. 现有方法在跨实体灵巧抓取中存在物体表面几何表示不足和机器人描述符缺乏形态与运动学编码的问题。
  2. MANGO-Grasp通过几何导向的三维高斯原语和形态-运动学描述符，提供了一种新的交互框架，能够有效表示物体和机器人手。
  3. 在CMAP和MultiGripperGrasp基准测试中，MANGO-Grasp在模拟和实际实验中均显著提升了抓取成功率。

📝 摘要（中文）

跨实体灵巧抓取旨在合成稳定的抓取方式，适用于异构多指手，而无需特定于实体的调优。现有的交互中心方法虽然取得了良好效果，但其物体表示往往不足以表征局部表面几何，而机器人描述符未能明确编码机器人形态和运动学。本文提出MANGO-Grasp，一个各向异性的交互框架，通过几何导向的三维高斯原语表示物体，并将机器人手表示为编码了形态-运动学描述符的表面关键点。在训练过程中，基于关键点-原语对的马哈拉诺比斯场作为交互预测目标，并在推理时作为抓取实现的优化指导。MANGO-Grasp在CMAP和MultiGripperGrasp基准测试中表现优异，模拟中超越最强基线8.24个百分点，并在未见的SharpaWave手上实现零-shot转移，提升16.57个百分点，实际实验成功率达到86%。

🔬 方法详解

问题定义：本文旨在解决跨实体灵巧抓取中的物体表示不足和机器人描述符缺乏形态与运动学编码的问题。现有方法往往无法有效处理不同类型的多指手抓取任务。

核心思路：MANGO-Grasp提出了一种各向异性的交互框架，通过几何导向的三维高斯原语来表示物体，同时将机器人手表示为编码了形态和运动学信息的表面关键点，以增强抓取的稳定性和适应性。

技术框架：该方法的整体架构包括物体的几何原语表示、机器人手的关键点编码、马哈拉诺比斯场的生成，以及抓取优化的统一框架。训练过程中，马哈拉诺比斯场用于预测交互，而在推理阶段则指导抓取实现。

关键创新：MANGO-Grasp的主要创新在于使用几何导向的三维高斯原语和马哈拉诺比斯场的结合，这种设计使得抓取策略能够更好地适应不同的机器人手形态，显著提升了抓取的成功率。

关键设计：在参数设置上，MANGO-Grasp采用了统一的优化公式和超参数设置，确保了在不同实体间的抓取策略一致性。损失函数设计上，重点考虑了表面法线方向的位移响应，以匹配接触的方向结构。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在CMAP和MultiGripperGrasp基准测试中，MANGO-Grasp在模拟中超越最强基线8.24个百分点，并在未见的SharpaWave手上实现零-shot转移，提升16.57个百分点，实际实验成功率达到86%。

🎯 应用场景

MANGO-Grasp的研究成果在多指机器人手的抓取任务中具有广泛的应用潜力，尤其是在需要快速适应不同形态的机器人手的场景中，如服务机器人、工业自动化和人机协作等领域。未来，该方法有望推动更灵活的机器人抓取技术的发展。

📄 摘要（原文）

Cross-embodiment dexterous grasping aims to synthesize stable grasps across heterogeneous multi-fingered hands with little or no embodiment-specific tuning. Existing interaction-centric methods achieve promising results, but their object representations often underrepresent local surface geometry, while their robot descriptors do not explicitly encode both robot morphology and kinematics. We propose MANGO-Grasp, an anisotropic interaction framework that represents objects as geometry-oriented 3D Gaussian primitives and robot hands as surface keypoints encoded into morpho-kinematic descriptors. The object primitives are adaptively allocated by geometric complexity and shaped as surface-aligned plates with outward normals, encoding local geometry. Mahalanobis fields over keypoint--primitive pairs serve as interaction prediction targets during training and as optimization guidance for grasp realization at inference. These fields rise sharply for displacement along the surface normal but only gently within the tangent plane, matching the directional structure of contact. Grasps are realized with one shared optimization formulation and hyperparameter setting across all embodiments. On the CMAP and MultiGripperGrasp benchmarks, MANGO-Grasp outperforms the strongest seen-hand baseline by up to 8.24 percentage points in simulation. It also transfers zero-shot to the unseen SharpaWave hand, improving over the strongest zero-shot baseline by up to 16.57 percentage points, and achieves 86% success in real-world experiments. The code and additional materials will be made available upon publication at https://connor-zh.github.io/MANGO-Grasp/.