MagicLens: Self-Supervised Image Retrieval with Open-Ended Instructions
作者: Kai Zhang, Yi Luan, Hexiang Hu, Kenton Lee, Siyuan Qiao, Wenhu Chen, Yu Su, Ming-Wei Chang
分类: cs.CV, cs.AI, cs.CL, cs.IR, cs.MM
发布日期: 2024-03-28 (更新: 2024-06-24)
备注: ICML 2024 (Oral); Project Website: https://open-vision-language.github.io/MagicLens/
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出MagicLens以解决开放式指令下的图像检索问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 图像检索 自监督学习 开放式指令 多模态检索 隐式关系 语义理解 模型效率
📋 核心要点
- 现有图像检索方法主要依赖视觉相似性，难以捕捉用户的复杂搜索意图。
- MagicLens通过合成开放式指令，利用同一网页上图像对的隐式关系来增强检索能力。
- 在3670万对三元组的训练下，MagicLens在多个基准测试中表现优异，且模型参数效率高。
📝 摘要（中文）
图像检索，即根据参考图像找到所需图像，涉及丰富的多维搜索意图，单靠图像度量难以捕捉。近期研究利用文本指令使用户更自由地表达搜索意图，但主要集中于视觉相似的图像对。本文提出MagicLens，一系列自监督图像检索模型，支持开放式指令。MagicLens基于一个新颖的见解：自然出现在同一网页上的图像对包含广泛的隐式关系。通过合成指令，MagicLens能够显式化这些隐式关系。经过在3670万对（查询图像、指令、目标图像）三元组上训练，MagicLens在八个不同的图像检索任务基准上取得了与之前最佳结果相当或更好的效果，同时保持高参数效率，模型规模显著较小。
🔬 方法详解
问题定义：本文旨在解决现有图像检索方法无法充分表达用户复杂搜索意图的问题，尤其是仅依赖视觉相似性进行检索的局限性。
核心思路：MagicLens的核心思路是通过合成开放式指令，利用同一网页上图像对的隐式关系，使得检索过程不仅限于视觉特征，而是能够捕捉更丰富的语义关系。
技术框架：MagicLens的整体架构包括数据收集、指令合成、模型训练和检索四个主要模块。首先，从网络中收集图像对及其上下文信息，然后利用基础模型生成指令，最后训练自监督模型进行图像检索。
关键创新：MagicLens的创新在于将隐式关系显式化，通过开放式指令扩展了图像检索的语义空间，与传统方法相比，能够处理更复杂的检索请求。
关键设计：在模型设计上，MagicLens采用了高效的网络结构，优化了损失函数以增强指令与图像之间的关联性，同时在参数设置上保持了较小的模型规模以提高计算效率。
🖼️ 关键图片
📊 实验亮点
MagicLens在3670万对三元组的训练下，在八个图像检索基准上取得了与之前最佳结果相当或更好的表现，显示出其强大的检索能力和高效的参数利用率。人类分析结果也表明，MagicLens支持多样化的搜索意图，进一步验证了其有效性。
🎯 应用场景
MagicLens的研究成果在多个领域具有潜在应用价值，包括电子商务、社交媒体和数字图书馆等场景。用户可以通过自然语言描述更准确地找到所需图像，提升用户体验。此外，该技术的开放性和灵活性也为未来的多模态检索系统奠定了基础。
📄 摘要（原文）
Image retrieval, i.e., finding desired images given a reference image, inherently encompasses rich, multi-faceted search intents that are difficult to capture solely using image-based measures. Recent works leverage text instructions to allow users to more freely express their search intents. However, they primarily focus on image pairs that are visually similar and/or can be characterized by a small set of pre-defined relations. The core thesis of this paper is that text instructions can enable retrieving images with richer relations beyond visual similarity. To show this, we introduce MagicLens, a series of self-supervised image retrieval models that support open-ended instructions. MagicLens is built on a key novel insight: image pairs that naturally occur on the same web pages contain a wide range of implicit relations (e.g., inside view of), and we can bring those implicit relations explicit by synthesizing instructions via foundation models. Trained on 36.7M (query image, instruction, target image) triplets with rich semantic relations mined from the web, MagicLens achieves results comparable with or better than prior best on eight benchmarks of various image retrieval tasks, while maintaining high parameter efficiency with a significantly smaller model size. Additional human analyses on a 1.4M-image unseen corpus further demonstrate the diversity of search intents supported by MagicLens. Code and models are publicly available at https://open-vision-language.github.io/MagicLens/.