Enhancing Interactive Image Retrieval With Query Rewriting Using Large Language Models and Vision Language Models
作者: Hongyi Zhu, Jia-Hong Huang, Stevan Rudinac, Evangelos Kanoulas
分类: cs.MM, cs.CV
发布日期: 2024-04-29
💡 一句话要点
提出交互式图像检索系统以解决传统方法的局限性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 交互式检索 图像检索 视觉语言模型 大型语言模型 多模态学习 用户反馈 查询优化
📋 核心要点
- 现有图像检索方法多依赖单轮查询，导致准确性不足和召回率有限，且面临词汇不匹配和语义差距等挑战。
- 本文提出的交互式图像检索系统通过用户反馈在多轮交互中优化查询，结合视觉语言模型和大型语言模型进行查询改进。
- 实验结果表明，所提系统在召回率上较基线方法提升了10%，验证了其有效性和创新性。
📝 摘要（中文）
图像检索是多媒体和计算机视觉中的关键任务，广泛应用于互联网搜索和医学诊断等领域。传统图像检索系统通常通过接受文本或视觉查询来从数据库中检索相关结果，但单轮查询的局限性导致了准确性不足和召回率有限。为了解决这些问题，本文提出了一种交互式图像检索系统，能够基于用户反馈在多轮交互中优化查询。该系统结合了视觉语言模型（VLM）进行图像描述生成，提升文本查询的质量，并引入大型语言模型（LLM）作为去噪器，改善文本查询扩展的准确性。通过对新构建的数据集进行全面实验，验证了该系统的有效性，召回率提升了10%。
🔬 方法详解
问题定义：本文旨在解决传统图像检索系统在单轮查询中存在的准确性不足和召回率有限的问题，尤其是词汇不匹配和语义差距带来的挑战。
核心思路：通过引入用户反馈机制，采用多轮交互的方式优化查询，同时结合视觉语言模型生成更高质量的图像描述，利用大型语言模型去噪文本查询扩展，从而提升检索效果。
技术框架：系统整体架构包括用户输入查询、视觉语言模型生成图像描述、用户反馈收集、查询优化和最终图像检索五个主要模块。每个模块相互协作，形成闭环反馈机制。
关键创新：最重要的创新在于将交互式反馈机制与多模态模型结合，显著提升了查询的质量和检索的准确性，与传统单轮检索方法形成本质区别。
关键设计：在模型设计上，采用了先进的视觉语言模型进行图像描述生成，并通过大型语言模型进行文本去噪，确保生成的查询更加准确和信息丰富。
📊 实验亮点
实验结果显示，所提交互式图像检索系统在召回率上较基线方法提升了10%，并在多个评估指标上达到了当前最先进的性能，验证了其有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括互联网搜索引擎、在线购物平台、医学影像分析等，能够显著提升用户在图像检索过程中的体验和效率。未来，该系统有望进一步推广至更多多模态检索任务，推动相关领域的发展。
📄 摘要（原文）
Image search stands as a pivotal task in multimedia and computer vision, finding applications across diverse domains, ranging from internet search to medical diagnostics. Conventional image search systems operate by accepting textual or visual queries, retrieving the top-relevant candidate results from the database. However, prevalent methods often rely on single-turn procedures, introducing potential inaccuracies and limited recall. These methods also face the challenges, such as vocabulary mismatch and the semantic gap, constraining their overall effectiveness. To address these issues, we propose an interactive image retrieval system capable of refining queries based on user relevance feedback in a multi-turn setting. This system incorporates a vision language model (VLM) based image captioner to enhance the quality of text-based queries, resulting in more informative queries with each iteration. Moreover, we introduce a large language model (LLM) based denoiser to refine text-based query expansions, mitigating inaccuracies in image descriptions generated by captioning models. To evaluate our system, we curate a new dataset by adapting the MSR-VTT video retrieval dataset to the image retrieval task, offering multiple relevant ground truth images for each query. Through comprehensive experiments, we validate the effectiveness of our proposed system against baseline methods, achieving state-of-the-art performance with a notable 10\% improvement in terms of recall. Our contributions encompass the development of an innovative interactive image retrieval system, the integration of an LLM-based denoiser, the curation of a meticulously designed evaluation dataset, and thorough experimental validation.