Multimodal Learned Sparse Retrieval with Probabilistic Expansion Control

📄 arXiv: 2402.17535v1 📥 PDF

作者: Thong Nguyen, Mariya Hendriksen, Andrew Yates, Maarten de Rijke

分类: cs.IR, cs.CV

发布日期: 2024-02-27

备注: 17 pages, accepted as a full paper at ECIR 2024

💡 一句话要点

提出多模态学习稀疏检索方法以解决现有模型复杂性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态检索 学习稀疏检索 文本-图像检索 伯努利随机变量 高维共激活 语义偏差 深度学习

📋 核心要点

  1. 现有多模态检索方法如LexLIP和STAIR训练复杂，需大规模数据集，效率低下。
  2. 提出一种新方法，将稠密模型的稠密向量高效转化为稀疏词汇向量，解决共激活和语义偏差问题。
  3. 实验结果显示，所提模型在训练时间和内存需求上均优于现有的文本-图像LSR模型，性能显著提升。

📝 摘要（中文）

学习稀疏检索（LSR）是一类神经网络方法，能够将查询和文档编码为稀疏的词汇向量，以便通过倒排索引高效检索。本文探讨了LSR在多模态领域的应用，特别是文本-图像检索。尽管LSR在文本检索中取得了成功，但其在多模态检索中的应用仍未得到充分探索。现有方法如LexLIP和STAIR需要在大规模数据集上进行复杂的多步骤训练。我们提出的方法高效地将冻结的稠密模型中的稠密向量转换为稀疏词汇向量，并通过新的训练算法解决高维共激活和语义偏差问题，使用伯努利随机变量控制查询扩展。实验表明，我们的方法在训练时间和GPU内存需求上均优于现有的文本-图像LSR模型。

🔬 方法详解

问题定义：本文旨在解决现有多模态检索方法在训练复杂性和效率上的不足，尤其是高维共激活和语义偏差问题。现有方法通常需要复杂的多步骤训练，导致效率低下。

核心思路：我们提出的方法通过将稠密模型的稠密向量转化为稀疏词汇向量，利用伯努利随机变量控制查询扩展，从而简化训练过程并提高检索效率。

技术框架：整体架构包括两个主要阶段：首先，从冻结的稠密模型中提取稠密向量；其次，通过新设计的训练算法将其转化为稀疏词汇向量，最终实现高效检索。

关键创新：最重要的创新在于引入伯努利随机变量来控制查询扩展，这一设计有效减少了高维共激活和语义偏差，显著提升了模型性能。

关键设计：在参数设置上，我们优化了稀疏向量的维度，并设计了适应性损失函数以平衡稀疏性和检索效果，确保模型在较低GPU内存需求下仍能高效训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提稀疏模型在MSCOCO和Flickr30k数据集上表现优异，相较于现有的文本-图像LSR模型，训练时间缩短，GPU内存需求降低，性能提升幅度显著。

🎯 应用场景

该研究的潜在应用领域包括多模态信息检索、图像搜索引擎和智能推荐系统。通过提高检索效率和降低训练复杂性，研究成果可广泛应用于需要处理文本和图像的场景，具有重要的实际价值和未来影响。

📄 摘要（原文）

Learned sparse retrieval (LSR) is a family of neural methods that encode queries and documents into sparse lexical vectors that can be indexed and retrieved efficiently with an inverted index. We explore the application of LSR to the multi-modal domain, with a focus on text-image retrieval. While LSR has seen success in text retrieval, its application in multimodal retrieval remains underexplored. Current approaches like LexLIP and STAIR require complex multi-step training on massive datasets. Our proposed approach efficiently transforms dense vectors from a frozen dense model into sparse lexical vectors. We address issues of high dimension co-activation and semantic deviation through a new training algorithm, using Bernoulli random variables to control query expansion. Experiments with two dense models (BLIP, ALBEF) and two datasets (MSCOCO, Flickr30k) show that our proposed algorithm effectively reduces co-activation and semantic deviation. Our best-performing sparsified model outperforms state-of-the-art text-image LSR models with a shorter training time and lower GPU memory requirements. Our approach offers an effective solution for training LSR retrieval models in multimodal settings. Our code and model checkpoints are available at github.com/thongnt99/lsr-multimodal