Training-free Zero-shot Composed Image Retrieval with Local Concept Reranking

📄 arXiv: 2312.08924v2 📥 PDF

作者: Shitong Sun, Fanghua Ye, Shaogang Gong

分类: cs.CV

发布日期: 2023-12-14 (更新: 2024-03-24)

备注: Under Review

💡 一句话要点

提出基于局部概念重排序的无训练零样本组合图像检索方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零样本学习 组合图像检索 自然语言处理 局部概念重排序 无训练方法

📋 核心要点

  1. 现有组合图像检索方法依赖大量标注数据，零样本方法计算效率低且缺乏语义可解释性。
  2. 将组合查询转换为人类可理解的文本，提升模型学习效率和泛化能力，无需训练数据。
  3. 引入局部概念重排序机制，关注修改指令中的关键局部信息，实验结果在多个数据集上超越现有无训练方法。

📝 摘要（中文）

组合图像检索旨在通过参考图像及其对应的修改文本组成的组合查询，从图库图像中检索出感兴趣的图像。由于信息丰富的图像和简洁的语言能够精确表达目标图像的需求，该任务最近受到了广泛关注。目前大多数组合图像检索方法都遵循监督学习方法，需要在由参考图像、修改文本和相应的目标图像组成的高成本三元组数据集上进行训练。为了避免难以获得的人工标注三元组训练数据，零样本组合图像检索（ZS-CIR）被提出，其目标是通过从图像-文本对（自监督三元组）中学习来检索目标图像，而无需人工标注的三元组。然而，这种自监督三元组学习方法的计算效率较低，且可解释性较差，因为它假设图像和文本之间的交互是在没有明确语义解释的情况下通过隐式查询嵌入进行的。本文提出了一种新的无训练零样本组合图像检索方法，该方法将查询转换为明确的、人类可理解的文本。这有助于提高模型学习效率，从而增强基础模型的泛化能力。此外，我们引入了一种局部概念重排序（LCR）机制，以关注从修改后的指令中提取的具有区分性的局部信息。在四个ZS-CIR基准上的大量实验表明，我们的方法取得了与最先进的基于三元组训练的方法相当的性能，但在开放域数据集（CIRR、CIRCO和COCO）以及时尚领域数据集（FashionIQ）上，明显优于其他无训练方法。

🔬 方法详解

问题定义：论文旨在解决零样本组合图像检索（ZS-CIR）问题，即在没有人工标注三元组数据的情况下，通过组合图像和文本描述来检索目标图像。现有零样本方法依赖自监督三元组学习，计算效率低，且图像和文本交互方式隐式，缺乏语义可解释性。

核心思路：论文的核心思路是将组合查询（参考图像+修改文本）转化为明确的、人类可理解的文本描述。通过显式地表达查询意图，提高模型学习效率，增强泛化能力。同时，引入局部概念重排序机制，关注修改文本中具有区分性的局部信息，从而更准确地理解查询意图。

技术框架：该方法主要包含两个阶段：1) 查询转换阶段：将参考图像和修改文本组合查询转换为自然语言描述。具体实现方式未知，但目标是生成人类可理解的文本。2) 局部概念重排序（LCR）阶段：从修改后的指令中提取局部概念，并根据其重要性进行重排序。重排序后的局部概念用于指导图像检索，提高检索精度。整体流程是先将组合查询转化为文本，然后利用LCR机制提取关键局部信息，最后进行图像检索。

关键创新：该方法的主要创新在于：1) 提出了一种无训练的零样本组合图像检索方法，无需人工标注的三元组数据。2) 将组合查询转换为人类可理解的文本，提高了模型学习效率和可解释性。3) 引入了局部概念重排序机制，关注修改指令中的关键局部信息，提高了检索精度。与现有方法的本质区别在于，该方法通过显式地表达查询意图，避免了隐式的自监督学习，从而提高了效率和可解释性。

关键设计：论文中关键的设计包括：1) 查询转换的具体实现方式（未知）。2) 局部概念重排序（LCR）机制的具体实现细节，包括如何提取局部概念、如何评估其重要性、以及如何进行重排序（未知）。3) 用于图像检索的模型结构和损失函数（未知）。这些细节对于理解和复现该方法至关重要，但论文摘要中并未详细描述。

📊 实验亮点

该方法在四个零样本组合图像检索基准测试中进行了评估，结果表明，该方法取得了与最先进的基于三元组训练的方法相当的性能，但在开放域数据集（CIRR、CIRCO和COCO）以及时尚领域数据集（FashionIQ）上，明显优于其他无训练方法。这表明该方法在泛化能力和检索精度方面具有显著优势。

🎯 应用场景

该研究成果可应用于电商平台的图像搜索、智能相册管理、以及其他需要根据图像和文本描述进行检索的场景。例如，用户可以通过上传一张参考图片并添加文字描述（如“换成红色”）来快速找到符合要求的商品或图片。该方法无需训练数据，具有很强的通用性和可扩展性，有望在实际应用中发挥重要作用。

📄 摘要（原文）

Composed image retrieval attempts to retrieve an image of interest from gallery images through a composed query of a reference image and its corresponding modified text. It has recently attracted attention due to the collaboration of information-rich images and concise language to precisely express the requirements of target images. Most current composed image retrieval methods follow a supervised learning approach to training on a costly triplet dataset composed of a reference image, modified text, and a corresponding target image. To avoid difficult to-obtain labeled triplet training data, zero-shot composed image retrieval (ZS-CIR) has been introduced, which aims to retrieve the target image by learning from image-text pairs (self-supervised triplets), without the need for human-labeled triplets. However, this self-supervised triplet learning approach is computationally less effective and less understandable as it assumes the interaction between image and text is conducted with implicit query embedding without explicit semantical interpretation. In this work, we present a new training-free zero-shot composed image retrieval method which translates the query into explicit human-understandable text. This helps improve model learning efficiency to enhance the generalization capacity of foundation models. Further, we introduce a Local Concept Re-ranking (LCR) mechanism to focus on discriminative local information extracted from the modified instructions. Extensive experiments on four ZS-CIR benchmarks show that our method achieves comparable performances to that of the state of-the-art triplet training based methods, but significantly outperforms other training-free methods on the open domain datasets (CIRR, CIRCO and COCO), as well as the fashion domain dataset (FashionIQ).