Show and Grasp: Few-shot Semantic Segmentation for Robot Grasping through Zero-shot Foundation Models
作者: Leonardo Barcellona, Alberto Bacchin, Matteo Terreran, Emanuele Menegatti, Stefano Ghidoni
分类: cs.RO, cs.AI
发布日期: 2024-04-19
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出结合基础模型与少样本分割以提升机器人抓取性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人抓取 少样本学习 语义分割 基础模型 抓取合成 深度学习 计算机视觉
📋 核心要点
- 现有的抓取方法依赖于语义分割模型，但在未见物体上泛化能力差，且训练需要大量数据。
- 本文提出将基础模型与少样本分类器结合，利用其强大的泛化能力来提升抓取性能。
- 实验结果显示，本文方法在多个数据集上显著提升了抓取准确率，超越了现有技术水平。
📝 摘要（中文）
机器人抓取能力在组装和分类等多个应用中至关重要。选择正确的目标物体与推断夹具配置同样重要。现有的语义分割模型在未见物体上表现不佳，且训练需要大量数据。为减少数据需求，部分抓取流程利用少样本语义分割模型，但性能有限且需微调。本文提出将基础模型的强大泛化能力与高性能的少样本分类器结合，作为选择与支持集最接近的分割的评分函数。实验表明，该方法在Graspnet-1B和Ocid-grasp数据集上分别提升了10.5%和1.6%的性能，并在真实世界的少样本抓取合成中提升了21.7%的抓取准确率。
🔬 方法详解
问题定义：本文旨在解决机器人抓取中语义分割模型在未见物体上的泛化能力不足和对大规模数据集的依赖问题。现有方法在少样本情况下性能有限，且通常需要微调以适应抓取场景。
核心思路：论文提出将基础模型的泛化能力与高性能的少样本分类器结合，利用分类器作为评分函数来选择与支持集最接近的分割结果。这种设计旨在提高模型在少样本情况下的抓取性能。
技术框架：整体架构包括基础模型、少样本分类器和抓取合成管道。基础模型负责特征提取，分类器通过少量样本进行训练，最终输出最优的抓取目标分割。
关键创新：最重要的创新在于将基础模型与少样本分类器有效结合，克服了传统方法在少样本情况下的性能瓶颈，显著提升了抓取准确率。
关键设计：在模型设计中，采用了特定的损失函数以优化分类器的性能，并在网络结构上进行了调整，以适应少样本学习的需求。
🖼️ 关键图片
📊 实验亮点
实验结果显示，本文方法在Graspnet-1B数据集上提升了10.5%的mIoU，在Ocid-grasp数据集上提升了1.6%的AP，并在真实世界的少样本抓取合成中实现了21.7%的抓取准确率提升，显著超越了现有技术。
🎯 应用场景
该研究的潜在应用领域包括工业自动化、智能家居和服务机器人等。通过提升机器人在复杂环境中的抓取能力，能够有效提高生产效率和操作灵活性，具有重要的实际价值和广泛的市场前景。
📄 摘要（原文）
The ability of a robot to pick an object, known as robot grasping, is crucial for several applications, such as assembly or sorting. In such tasks, selecting the right target to pick is as essential as inferring a correct configuration of the gripper. A common solution to this problem relies on semantic segmentation models, which often show poor generalization to unseen objects and require considerable time and massive data to be trained. To reduce the need for large datasets, some grasping pipelines exploit few-shot semantic segmentation models, which are capable of recognizing new classes given a few examples. However, this often comes at the cost of limited performance and fine-tuning is required to be effective in robot grasping scenarios. In this work, we propose to overcome all these limitations by combining the impressive generalization capability reached by foundation models with a high-performing few-shot classifier, working as a score function to select the segmentation that is closer to the support set. The proposed model is designed to be embedded in a grasp synthesis pipeline. The extensive experiments using one or five examples show that our novel approach overcomes existing performance limitations, improving the state of the art both in few-shot semantic segmentation on the Graspnet-1B (+10.5% mIoU) and Ocid-grasp (+1.6% AP) datasets, and real-world few-shot grasp synthesis (+21.7% grasp accuracy). The project page is available at: https://leobarcellona.github.io/showandgrasp.github.io/