Real-world Instance-specific Image Goal Navigation: Bridging Domain Gaps via Contrastive Learning

📄 arXiv: 2404.09645v2 📥 PDF

作者: Taichi Sakaguchi, Akira Taniguchi, Yoshinobu Hagiwara, Lotfi El Hafi, Shoichi Hasegawa, Tadahiro Taniguchi

分类: cs.RO, cs.CL, cs.CV

发布日期: 2024-04-15 (更新: 2024-11-03)

备注: See website at https://emergentsystemlabstudent.github.io/DomainBridgingNav/. Accepted to IEEE IRC2024

DOI: 10.1109/IRC63610.2024.00032

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出Few-shot Cross-quality Instance-aware Adaptation以解决图像目标导航中的领域差距问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 实例特定导航 对比学习 图像增强 领域适应 机器人技术 物体识别 深度学习

📋 核心要点

  1. 现有方法未能有效解决低质量图像与高质量查询图像之间的领域差距，导致任务成功率低。
  2. 论文提出的CrossIA方法通过对比学习对齐低质量与高质量图像特征，从而缩小领域差距。
  3. 实验结果显示，该方法在InstanceImageNav任务中成功率提升至基线的三倍，验证了其有效性。

📝 摘要（中文）

本研究旨在改善实例特定图像目标导航（InstanceImageNav），即在真实环境中根据查询图像定位相同物体的能力。现有方法面临的挑战是移动机器人观察到的低质量图像（如运动模糊和低分辨率）与用户提供的高质量查询图像之间的领域差距。为此，本文提出了一种新方法Few-shot Cross-quality Instance-aware Adaptation（CrossIA），通过对比学习与实例分类器对齐大量低质量和少量高质量图像的特征，从而有效缩小领域差距。此外，系统还集成了一个物体图像集合和预训练去模糊模型，以提升观察图像的质量。实验结果表明，该方法在20种不同实例的InstanceImageNav任务中，成功率比基线方法提高了三倍。

🔬 方法详解

问题定义：本研究解决的是实例特定图像目标导航中的领域差距问题，现有方法在低质量图像（如运动模糊和低分辨率）与高质量查询图像之间的对比中表现不佳，导致任务成功率低下。

核心思路：论文提出的CrossIA方法通过对比学习与实例分类器相结合，旨在对齐低质量与高质量图像的特征表示，从而在实例级别上缩小领域差距。这样的设计使得机器人能够更好地识别和定位目标物体。

技术框架：整体架构包括几个主要模块：首先，收集大量低质量图像和少量高质量图像；其次，利用对比学习对齐这些图像的特征；最后，结合预训练的去模糊模型提升观察图像的质量。

关键创新：最重要的技术创新在于通过Few-shot Cross-quality Instance-aware Adaptation方法实现了低质量与高质量图像特征的有效对齐，这一方法在实例级别上处理领域差距，与传统方法相比具有显著优势。

关键设计：在技术细节上，采用了SimSiam模型进行微调，损失函数设计为对比损失，以确保不同质量图像的特征能够有效对齐。网络结构上，结合了实例分类器以增强对特定实例的识别能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的方法在20种不同实例的InstanceImageNav任务中，成功率比基线方法SuperGlue提高了三倍，显示了对比学习和图像增强技术在缩小领域差距方面的潜力。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化仓储和家庭助理等场景，能够帮助用户更高效地找到所需物体。通过缩小领域差距，该方法有望在实际应用中提升机器人导航和物体识别的准确性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Improving instance-specific image goal navigation (InstanceImageNav), which locates the identical object in a real-world environment from a query image, is essential for robotic systems to assist users in finding desired objects. The challenge lies in the domain gap between low-quality images observed by the moving robot, characterized by motion blur and low-resolution, and high-quality query images provided by the user. Such domain gaps could significantly reduce the task success rate but have not been the focus of previous work. To address this, we propose a novel method called Few-shot Cross-quality Instance-aware Adaptation (CrossIA), which employs contrastive learning with an instance classifier to align features between massive low- and few high-quality images. This approach effectively reduces the domain gap by bringing the latent representations of cross-quality images closer on an instance basis. Additionally, the system integrates an object image collection with a pre-trained deblurring model to enhance the observed image quality. Our method fine-tunes the SimSiam model, pre-trained on ImageNet, using CrossIA. We evaluated our method's effectiveness through an InstanceImageNav task with 20 different types of instances, where the robot identifies the same instance in a real-world environment as a high-quality query image. Our experiments showed that our method improves the task success rate by up to three times compared to the baseline, a conventional approach based on SuperGlue. These findings highlight the potential of leveraging contrastive learning and image enhancement techniques to bridge the domain gap and improve object localization in robotic applications. The project website is https://emergentsystemlabstudent.github.io/DomainBridgingNav/.