CFIR: Fast and Effective Long-Text To Image Retrieval for Large Corpora

📄 arXiv: 2402.15276v3 📥 PDF

作者: Zijun Long, Xuri Ge, Richard Mccreadie, Joemon Jose

分类: cs.IR, cs.AI, cs.CV

发布日期: 2024-02-23 (更新: 2024-04-02)

🔗 代码/项目: GITHUB

💡 一句话要点

提出CFIR框架以解决大规模长文本到图像检索问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长文本检索 图像检索 多模态学习 深度学习 信息检索

📋 核心要点

  1. 现有的多模态大语言模型在处理大规模和模糊的文本到图像检索时，面临计算成本高和嵌入质量差的挑战。
  2. 本文提出的CFIR框架通过两阶段的检索策略，结合基于实体的排名和摘要重排序，有效提升了检索效率和准确性。
  3. 实验结果显示，CFIR在AToMiC数据集上相较于现有方法在Recall@1000上提高了11.06%，显著减少了训练和检索时间。

📝 摘要（中文）

文本到图像检索旨在根据文本查询找到相关图像，这在数字图书馆、电商和多媒体数据库等多种应用场景中至关重要。尽管多模态大语言模型（MLLMs）在性能上表现出色，但在处理大规模、多样化和模糊的检索需求时，因计算成本和生成的单射嵌入而存在局限性。本文提出了一种两阶段的粗到细索引共享检索（CFIR）框架，旨在实现快速有效的大规模长文本到图像检索。第一阶段采用基于实体的排名（ER），通过多查询到多目标的范式来适应长文本查询的模糊性，为下一阶段的候选过滤提供支持。第二阶段的摘要重排序（SR）则利用摘要查询来细化这些排名。我们还提出了一种专门的解耦BEiT-3编码器，优化了模糊用户需求的处理，并通过基于向量的相似性推理提高计算效率。对AToMiC数据集的评估表明，CFIR在Recall@1000上超越现有MLLMs达11.06%，同时训练和检索时间分别减少68.75%和99.79%。

🔬 方法详解

问题定义：本文旨在解决大规模长文本到图像检索中的效率和准确性问题。现有方法在处理模糊查询时，往往因计算成本和生成的嵌入质量不足而无法满足实际需求。

核心思路：CFIR框架通过两阶段的检索流程，首先利用基于实体的排名来过滤候选图像，然后通过摘要重排序进一步优化结果，从而提高检索的准确性和速度。

技术框架：CFIR框架分为两个主要阶段：第一阶段是实体基础的排名（ER），采用多查询到多目标的方式处理长文本查询；第二阶段是摘要基础的重排序（SR），通过对查询进行摘要来精细化排名。

关键创新：CFIR的核心创新在于引入了解耦BEiT-3编码器，专门优化了对模糊查询的处理，并通过向量相似性推理提高了计算效率。这一设计与现有方法相比，显著提升了检索性能。

关键设计：在CFIR中，采用了多查询到多目标的范式来适应长文本的模糊性，同时在摘要重排序阶段引入了新的损失函数和网络结构，以确保模型在处理复杂查询时的高效性和准确性。

📊 实验亮点

CFIR在AToMiC数据集上的实验结果显示，在Recall@1000指标上超越现有多模态大语言模型达11.06%，同时训练和检索时间分别减少68.75%和99.79%。这些显著的性能提升表明CFIR在长文本到图像检索中的有效性和高效性。

🎯 应用场景

CFIR框架在数字图书馆、电商平台和多媒体数据库等领域具有广泛的应用潜力。其高效的检索能力能够帮助用户快速找到所需图像，提升用户体验。此外，该研究的成果也为未来的多模态检索技术提供了新的思路和方法。

📄 摘要（原文）

Text-to-image retrieval aims to find the relevant images based on a text query, which is important in various use-cases, such as digital libraries, e-commerce, and multimedia databases. Although Multimodal Large Language Models (MLLMs) demonstrate state-of-the-art performance, they exhibit limitations in handling large-scale, diverse, and ambiguous real-world needs of retrieval, due to the computation cost and the injective embeddings they produce. This paper presents a two-stage Coarse-to-Fine Index-shared Retrieval (CFIR) framework, designed for fast and effective large-scale long-text to image retrieval. The first stage, Entity-based Ranking (ER), adapts to long-text query ambiguity by employing a multiple-queries-to-multiple-targets paradigm, facilitating candidate filtering for the next stage. The second stage, Summary-based Re-ranking (SR), refines these rankings using summarized queries. We also propose a specialized Decoupling-BEiT-3 encoder, optimized for handling ambiguous user needs and both stages, which also enhances computational efficiency through vector-based similarity inference. Evaluation on the AToMiC dataset reveals that CFIR surpasses existing MLLMs by up to 11.06% in Recall@1000, while reducing training and retrieval times by 68.75% and 99.79%, respectively. We will release our code to facilitate future research at https://github.com/longkukuhi/CFIR.