MMGNet: Multi-Modal 6-DoF Grasp Synthesis for Cluttered Scenes
作者: Rui Cao, Jia-Hui Pan, Yichuan Li, Yunfan Yu, Chi-Wing Fu, Jiangliu Wang, Yun-Hui Liu
分类: cs.RO, cs.CV
发布日期: 2026-10-26
备注: Under Review
💡 一句话要点
提出MMGNet以解决杂乱场景中的6自由度抓取合成问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 多模态融合 6自由度抓取 图像特征注入 旋转抓取度 机器人抓取
📋 核心要点
- 现有方法在处理真实世界的抓取任务时，常面临点云数据噪声和不完整性的问题，限制了抓取性能。
- MMGNet通过分层图像到3D特征注入和旋转抓取度建模，充分利用RGB图像信息，提升抓取合成的准确性。
- 实验结果显示，MMGNet在GraspNet-1Billion上取得了60.34的平均AP，并在真实场景中显著提高了抓取成功率。
📝 摘要（中文）
抓取是机器人操作中的基础能力。场景级的6自由度抓取合成依赖于点云进行度量几何，但现实世界中的点观测常常存在噪声、不完整和过度平滑的问题。RGB图像提供了物体区域、边界和外观线索，但在场景表示和局部抓取推理中存在两个瓶颈。本文提出MMGNet，一个多模态抓取合成网络，通过分层图像到3D特征注入和旋转抓取度建模来解决这些瓶颈。分层注入在3D表示形成过程中整合多尺度图像特征，而旋转抓取度则在组织局部图像信息特征时共同预测抓取接近方向和面内旋转。消融研究表明，这两个模块提供了互补的增益。MMGNet在GraspNet-1Billion上取得了60.34的平均AP，超越了所有比较方法。在与对抗抓取物体的真实世界实验中，MMGNet的抓取成功率比AnyGrasp提高了8.46个百分点。
🔬 方法详解
问题定义：本文旨在解决在杂乱场景中进行6自由度抓取合成时，点云数据的噪声和不完整性对抓取性能的影响。现有方法在利用RGB图像进行场景表示和局部抓取推理时，面临信息提取不足的问题。
核心思路：MMGNet的核心思路是通过分层图像到3D特征的注入，结合旋转抓取度的建模，来增强抓取合成的效果。通过这种设计，可以更好地整合多模态信息，提高抓取的准确性和鲁棒性。
技术框架：MMGNet的整体架构包括多个模块，首先是图像特征的提取和多尺度整合，然后是3D表示的形成，最后通过旋转抓取度模块进行抓取方向和旋转的预测。
关键创新：MMGNet的主要创新在于其分层注入机制和旋转抓取度建模，这两者的结合使得网络能够有效地利用RGB图像信息，显著提升抓取合成的性能。与现有方法相比，MMGNet在处理复杂场景时表现出更强的适应性。
关键设计：在网络设计中，采用了多尺度特征提取和损失函数的优化，以确保抓取方向和旋转的准确预测。此外，抓取阴影分组的设计也增强了局部特征的组织能力。整体网络结构经过多次实验调优，以实现最佳性能。
🖼️ 关键图片
📊 实验亮点
MMGNet在GraspNet-1Billion数据集上取得了60.34的平均AP，超越了所有对比方法。在真实世界实验中，MMGNet的抓取成功率比AnyGrasp提高了8.46个百分点，显示出其在处理复杂抓取任务中的显著优势。
🎯 应用场景
该研究的潜在应用领域包括自动化仓储、服务机器人和工业机器人等场景，能够显著提升机器人在复杂环境中的抓取能力。未来，MMGNet有望在智能制造和人机协作中发挥重要作用，推动机器人技术的进一步发展。
📄 摘要（原文）
Grasping is a foundational capability in robotic manipulation. Scene-level 6-DoF grasp synthesis relies on point clouds for metric geometry, yet real-world point observations are often noisy, incomplete, and over-smoothed. RGB images provide object-region, boundary, and appearance cues, yet two bottlenecks limit their effective use in scene representation and local grasp reasoning. We present MMGNet, a Multi-Modal Grasp Synthesis Network that addresses these bottlenecks through hierarchical image-to-3D feature injection and rotational graspness modeling. Hierarchical injection integrates multi-scale image features throughout 3D representation formation, while the rotational graspness jointly predicts the grasp approach direction and in-plane rotation before organizing local image-informed features through grasp-shaded grouping. Ablation studies show that these two modules provide complementary gains. MMGNet achieves a mean AP of 60.34 on GraspNet-1Billion with RealSense, surpassing all compared methods. In real-world experiments with adversarial grasp objects, MMGNet improves the grasp success rate over AnyGrasp by 8.46 percentage points. \emph{Code, models, and data will be released upon publication.}