Revisiting Relevance Feedback for CLIP-based Interactive Image Retrieval

📄 arXiv: 2404.16398v3 📥 PDF

作者: Ryoya Nara, Yu-Chieh Lin, Yuji Nozawa, Youyang Ng, Goh Itoh, Osamu Torii, Yusuke Matsui

分类: cs.CV

发布日期: 2024-04-25 (更新: 2024-09-24)

备注: Accepted to ECCV 2024 Workshops: 2nd Workshop on Traditional Computer Vision in the Age of Deep Learning (TradiCV)

💡 一句话要点

提出基于CLIP的交互式图像检索系统以解决用户偏好差异问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像检索 CLIP 相关反馈 用户偏好 零样本学习 深度学习 交互式系统

📋 核心要点

  1. 现有的图像检索方法依赖度量学习，无法有效处理用户偏好的多样性，且需要大量数据进行训练。
  2. 本文提出了一种基于CLIP的交互式图像检索系统，通过相关反馈机制收集用户偏好，动态调整检索结果。
  3. 实验结果表明，该系统在用户偏好多样化的情况下，准确率显著提升，优于无反馈的图像检索方法。

📝 摘要（中文）

许多图像检索研究使用度量学习来训练图像编码器，但度量学习无法处理用户偏好的差异，并且需要数据来训练图像编码器。为克服这些限制，本文重新审视了相关反馈这一经典技术，提出了一种基于CLIP的交互式图像检索系统。该系统首先执行检索，通过二元反馈收集每个用户的独特偏好，并返回用户偏好的图像。即使用户的偏好各异，系统也能通过反馈学习并适应每个用户的偏好。此外，该系统利用CLIP的零样本迁移能力，在无需训练的情况下实现高准确率。实验证明，尽管没有针对每个数据集专门训练图像编码器，该系统在基于类别的图像检索中与最先进的度量学习方法竞争良好。

🔬 方法详解

问题定义：本文旨在解决现有图像检索方法无法适应用户偏好差异的问题。传统的度量学习方法需要大量标注数据，并且难以捕捉用户的个性化需求。

核心思路：提出的系统通过相关反馈机制，允许用户提供二元反馈，从而动态学习和适应用户的偏好。这种方法结合了CLIP的零样本学习能力，避免了对图像编码器的训练需求。

技术框架：系统的整体架构包括三个主要模块：首先是初步检索模块，执行图像检索；其次是反馈收集模块，获取用户的偏好反馈；最后是偏好适应模块，根据反馈调整检索结果。

关键创新：最重要的创新在于将经典的相关反馈技术与现代的CLIP模型结合，形成了一种新的交互式检索方式。这种方法与传统的度量学习方法本质上不同，因为它不依赖于大量的训练数据。

关键设计：系统设计中采用了二元反馈机制，用户可以简单地标记喜欢或不喜欢的图像。此外，系统利用CLIP的特性，实现了高效的零样本检索，避免了复杂的训练过程。具体的损失函数和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基于CLIP的交互式图像检索系统在类别基础的图像检索中，与最先进的度量学习方法相比，表现出色。具体而言，该系统在用户偏好多样化的情况下，准确率显著提高，且在无反馈的情况下也能保持较高的检索性能。

🎯 应用场景

该研究的潜在应用领域包括在线图像搜索引擎、电子商务平台以及社交媒体内容推荐等。通过更好地理解用户偏好，该系统能够提供更个性化的图像检索体验，提升用户满意度和参与度。未来，该方法可能会影响更多基于用户反馈的智能检索系统的设计与实现。

📄 摘要（原文）

Many image retrieval studies use metric learning to train an image encoder. However, metric learning cannot handle differences in users' preferences, and requires data to train an image encoder. To overcome these limitations, we revisit relevance feedback, a classic technique for interactive retrieval systems, and propose an interactive CLIP-based image retrieval system with relevance feedback. Our retrieval system first executes the retrieval, collects each user's unique preferences through binary feedback, and returns images the user prefers. Even when users have various preferences, our retrieval system learns each user's preference through the feedback and adapts to the preference. Moreover, our retrieval system leverages CLIP's zero-shot transferability and achieves high accuracy without training. We empirically show that our retrieval system competes well with state-of-the-art metric learning in category-based image retrieval, despite not training image encoders specifically for each dataset. Furthermore, we set up two additional experimental settings where users have various preferences: one-label-based image retrieval and conditioned image retrieval. In both cases, our retrieval system effectively adapts to each user's preferences, resulting in improved accuracy compared to image retrieval without feedback. Overall, our work highlights the potential benefits of integrating CLIP with classic relevance feedback techniques to enhance image retrieval.