Spot-Compose: A Framework for Open-Vocabulary Object Retrieval and Drawer Manipulation in Point Clouds

📄 arXiv: 2404.12440v1 📥 PDF

作者: Oliver Lemke, Zuria Bauer, René Zurbrügg, Marc Pollefeys, Francis Engelmann, Hermann Blum

分类: cs.RO, cs.CV

发布日期: 2024-04-18

备注: Accepted at ICRA 2024 Workshops. Code and videos available at https://spot-compose.github.io/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出Spot-Compose框架以解决开放词汇物体检索与抽屉操作问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇检索 3D实例分割 抓取姿态估计 机器人操作 动态环境

📋 核心要点

  1. 现有方法在动态环境中进行物体检索和操作时，面临准确性和鲁棒性不足的挑战。
  2. 本研究提出了Spot-Compose框架，结合3D重建和开放词汇实例分割，实现动态物体拾取和抽屉操作。
  3. 实验结果表明，模型在动态物体检索和抽屉开启任务中的成功率分别达到了51%和82%，显示出良好的性能。

📝 摘要（中文）

近年来，深度学习和大规模数据集的现代技术在3D实例分割、抓取姿态估计和机器人领域取得了显著进展。这使得在3D场景中进行准确检测、物体和环境感知的抓取预测以及稳健的机器人操作成为可能。本研究旨在将这些最新方法整合为一个全面的框架，以实现人性化环境中的机器人交互和操作。具体而言，我们利用普通3D扫描仪的3D重建进行开放词汇实例分割，并结合抓取姿态估计，展示了动态物体拾取和抽屉开启的能力。我们在两组真实世界实验中展示了模型的性能和鲁棒性，动态物体检索和抽屉开启的成功率分别为51%和82%。

🔬 方法详解

问题定义：本论文旨在解决在动态人性化环境中进行开放词汇物体检索和抽屉操作的具体问题。现有方法在处理复杂场景时，往往面临准确性和鲁棒性不足的痛点。

核心思路：论文的核心思路是将3D重建与开放词汇实例分割相结合，利用深度学习技术进行物体检测和抓取姿态估计，从而实现对动态环境中物体的有效操作。

技术框架：整体架构包括三个主要模块：首先，通过普通3D扫描仪获取环境的3D重建；其次，应用开放词汇实例分割技术进行物体检测；最后，结合抓取姿态估计，实现物体的动态拾取和抽屉的开启。

关键创新：最重要的技术创新点在于将开放词汇实例分割与抓取姿态估计相结合，形成一个综合框架，显著提升了在复杂动态环境中的物体操作能力。与现有方法相比，该框架在处理未知物体时表现出更高的灵活性和准确性。

关键设计：在技术细节方面，论文设计了特定的损失函数以优化实例分割的准确性，同时采用了适应性网络结构以提高抓取姿态估计的精度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Spot-Compose框架在动态物体检索任务中的成功率达到了51%，而在抽屉开启任务中成功率更是高达82%。这些结果表明该框架在实际应用中的有效性和鲁棒性，显著优于传统方法。

🎯 应用场景

该研究的潜在应用领域包括智能家居、服务机器人以及工业自动化等场景。在这些领域，能够实现开放词汇的物体检索和灵活的操作将极大提升机器人在复杂环境中的实用性和效率，推动人机协作的进一步发展。

📄 摘要（原文）

In recent years, modern techniques in deep learning and large-scale datasets have led to impressive progress in 3D instance segmentation, grasp pose estimation, and robotics. This allows for accurate detection directly in 3D scenes, object- and environment-aware grasp prediction, as well as robust and repeatable robotic manipulation. This work aims to integrate these recent methods into a comprehensive framework for robotic interaction and manipulation in human-centric environments. Specifically, we leverage 3D reconstructions from a commodity 3D scanner for open-vocabulary instance segmentation, alongside grasp pose estimation, to demonstrate dynamic picking of objects, and opening of drawers. We show the performance and robustness of our model in two sets of real-world experiments including dynamic object retrieval and drawer opening, reporting a 51% and 82% success rate respectively. Code of our framework as well as videos are available on: https://spot-compose.github.io/.