Object Instance Retrieval in Assistive Robotics: Leveraging Fine-Tuned SimSiam with Multi-View Images Based on 3D Semantic Map

📄 arXiv: 2404.09647v2 📥 PDF

作者: Taichi Sakaguchi, Akira Taniguchi, Yoshinobu Hagiwara, Lotfi El Hafi, Shoichi Hasegawa, Tadahiro Taniguchi

分类: cs.RO

发布日期: 2024-04-15 (更新: 2024-09-13)

备注: See website at https://emergentsystemlabstudent.github.io/MultiViewRetrieve/. Accepted to IROS2024

DOI: 10.1109/IROS58592.2024.10802697

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出SimView以解决助理机器人中的实例检索问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 实例检索 助理机器人 自监督学习 多视角图像 3D语义地图 任务导航 模型训练

📋 核心要点

  1. 现有方法在处理同类物体的不同实例时，因视角变化导致外观差异，识别和定位的准确性受到挑战。
  2. 本文提出的SimView方法结合了3D语义地图和多视角图像，利用自监督学习来增强实例识别能力。
  3. 实验结果表明，SimView在任务准确性上较CLIP提升了1.7倍，验证了其在助理机器人中的应用潜力。

📝 摘要（中文）

助理机器人在日常生活中应能定位与用户需求匹配的特定物体实例。本文提出了一种名为SimView的方法，利用基于3D语义地图的多视角图像和自监督学习的SimSiam来训练实例识别模型。通过在真实家庭环境中创建的Habitat Matterport 3D模拟器进行验证，我们的方法在任务准确性上比对比语言-图像预训练（CLIP）提高了1.7倍，展示了该细调方法在助理机器人中的有效性。

🔬 方法详解

问题定义：本文旨在解决助理机器人在实例特定图像目标导航中，因同类物体在不同视角下外观差异导致的识别困难。现有方法在此方面表现不佳，难以准确定位物体实例。

核心思路：提出SimView方法，利用3D语义地图生成多视角图像，并通过自监督学习的SimSiam进行模型训练，以提高实例识别的准确性和鲁棒性。

技术框架：整体架构包括数据采集、3D语义地图构建、多视角图像生成和SimSiam自监督学习模块。首先，通过扫描实际家庭环境构建3D地图，然后生成多视角图像，最后利用SimSiam进行模型训练。

关键创新：最重要的创新在于结合多视角图像和自监督学习，显著提升了实例识别的准确性，克服了传统方法在视角变化下的局限性。

关键设计：在模型训练中，采用了特定的损失函数以优化实例间的对比学习，网络结构设计上注重特征提取的多样性，以适应不同视角下的物体外观变化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SimView方法在任务准确性上比对比语言-图像预训练（CLIP）提高了1.7倍，显著提升了助理机器人在实例特定图像目标导航中的表现，验证了其有效性和实用性。

🎯 应用场景

该研究在助理机器人领域具有广泛的应用潜力，能够提升机器人在家庭环境中的物体识别和导航能力，进而改善人机交互体验。未来，随着技术的进步，该方法可扩展至更复杂的环境和任务，推动智能家居和服务机器人的发展。

📄 摘要（原文）

Robots that assist humans in their daily lives should be able to locate specific instances of objects in an environment that match a user's desired objects. This task is known as instance-specific image goal navigation (InstanceImageNav), which requires a model that can distinguish different instances of an object within the same class. A significant challenge in robotics is that when a robot observes the same object from various 3D viewpoints, its appearance may differ significantly, making it difficult to recognize and locate accurately. In this paper, we introduce a method called SimView, which leverages multi-view images based on a 3D semantic map of an environment and self-supervised learning using SimSiam to train an instance-identification model on-site. The effectiveness of our approach was validated using a photorealistic simulator, Habitat Matterport 3D, created by scanning actual home environments. Our results demonstrate a 1.7-fold improvement in task accuracy compared with contrastive language-image pre-training (CLIP), a pre-trained multimodal contrastive learning method for object searching. This improvement highlights the benefits of our proposed fine-tuning method in enhancing the performance of assistive robots in InstanceImageNav tasks. The project website is https://emergentsystemlabstudent.github.io/MultiViewRetrieve/.