Variational Shape Inference for Grasp Diffusion on SE(3)

📄 arXiv: 2508.17482v2 📥 PDF

作者: S. Talha Bukhari, Kaivalya Agrawal, Zachary Kingston, Aniket Bera

分类: cs.RO

发布日期: 2025-08-24 (更新: 2025-12-06)

备注: This work has been submitted to the IEEE for possible publication

💡 一句话要点

提出变分形状推断框架以解决多模态抓取合成问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 抓取合成 变分形状推断 多模态学习 机器人操作 几何特征 扩散模型 鲁棒性 零样本迁移

📋 核心要点

  1. 现有的抓取合成方法在处理物体几何形状的多样性和不确定性时表现不足，难以生成稳定的抓取方案。
  2. 本文提出的框架通过变分形状推断增强了对形状噪声的鲁棒性，结合隐式神经表示和扩散模型进行抓取合成。
  3. 实验结果显示，所提方法在ACRONYM数据集上性能提升6.3%，并在真实世界操作中实现了更高的抓取成功率。

📝 摘要（中文）

抓取合成是机器人操作中的基本任务，通常存在多种可行解。多模态抓取合成旨在根据物体几何形状生成多样化的稳定抓取，因而对几何特征的稳健学习至关重要。为应对这一挑战，本文提出了一种学习多模态抓取分布的框架，该框架利用变分形状推断来增强对形状噪声和测量稀疏性的鲁棒性。我们首先训练了一个变分自编码器以进行形状推断，使用隐式神经表示，然后利用这些学习到的几何特征指导在SE(3)流形上的抓取合成扩散模型。此外，我们还引入了一种测试时抓取优化技术，作为插件进一步提升抓取性能。实验结果表明，本文提出的抓取合成方法在ACRONYM数据集上比现有的多模态抓取合成方法提高了6.3%的性能，并且在点云密度降低的情况下表现出更强的鲁棒性。我们的模型在家庭物体的真实世界操作中实现了零样本迁移，尽管存在测量噪声和点云校准误差，成功抓取的数量比基线方法多出34%。

🔬 方法详解

问题定义：本文旨在解决多模态抓取合成中的形状噪声和测量稀疏性问题。现有方法在处理复杂几何形状时，往往无法生成稳定且多样的抓取方案，导致抓取成功率低下。

核心思路：我们提出的框架通过变分形状推断来学习物体的几何特征，利用隐式神经表示增强对形状噪声的鲁棒性，并结合扩散模型进行抓取合成。这种设计旨在提高抓取的多样性和稳定性。

技术框架：整体架构包括两个主要模块：首先，训练一个变分自编码器进行形状推断，提取物体的几何特征；其次，利用这些特征指导扩散模型在SE(3)流形上进行抓取合成。此外，加入测试时抓取优化技术作为插件，进一步提升抓取性能。

关键创新：本文的主要创新在于将变分形状推断与扩散模型结合，形成了一种新的多模态抓取合成框架。这一方法在处理形状噪声和测量稀疏性方面表现出显著优势，超越了现有的抓取合成技术。

关键设计：在模型设计中，我们采用了隐式神经表示来进行形状推断，并在损失函数中引入了针对几何特征的约束，以确保生成的抓取方案在多样性和稳定性之间取得平衡。

📊 实验亮点

实验结果表明，所提出的抓取合成方法在ACRONYM数据集上比现有方法提高了6.3%的性能，并且在真实世界的家庭物体操作中实现了零样本迁移，成功抓取数量比基线方法多出34%。这些结果展示了该方法在处理形状噪声和点云校准误差方面的优越性。

🎯 应用场景

该研究的潜在应用领域包括机器人抓取、自动化仓储、智能家居等场景。通过提高抓取的成功率和鲁棒性，该框架能够在实际操作中显著提升机器人对复杂物体的处理能力，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Grasp synthesis is a fundamental task in robotic manipulation which usually has multiple feasible solutions. Multimodal grasp synthesis seeks to generate diverse sets of stable grasps conditioned on object geometry, making the robust learning of geometric features crucial for success. To address this challenge, we propose a framework for learning multimodal grasp distributions that leverages variational shape inference to enhance robustness against shape noise and measurement sparsity. Our approach first trains a variational autoencoder for shape inference using implicit neural representations, and then uses these learned geometric features to guide a diffusion model for grasp synthesis on the SE(3) manifold. Additionally, we introduce a test-time grasp optimization technique that can be integrated as a plugin to further enhance grasping performance. Experimental results demonstrate that our shape inference for grasp synthesis formulation outperforms state-of-the-art multimodal grasp synthesis methods on the ACRONYM dataset by 6.3%, while demonstrating robustness to deterioration in point cloud density compared to other approaches. Furthermore, our trained model achieves zero-shot transfer to real-world manipulation of household objects, generating 34% more successful grasps than baselines despite measurement noise and point cloud calibration errors.