LLM-Oriented Retrieval Tuner

📄 arXiv: 2403.01999v1 📥 PDF

作者: Si Sun, Hanqing Zhang, Zhiyuan Liu, Jie Bao, Dawei Song

分类: cs.CL

发布日期: 2024-03-04

备注: 16 pages, 8 figures, 5 tables

💡 一句话要点

提出LLM导向检索调优器以解决LLM与检索任务整合问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 密集检索 信息检索 生成能力 模型优化

📋 核心要点

  1. 现有方法在将检索与生成任务整合时面临范式差异的挑战，导致难以有效利用LLM的记忆能力。
  2. 论文提出的LMORT通过解耦DR能力与基础LLM，非侵入性地协调LLM的层，以实现高效的检索。
  3. 在六个BEIR数据集上的实验表明，LMORT在零样本检索性能上与多种强大DR模型竞争，同时保持了LLM的生成能力。

📝 摘要（中文）

密集检索（DR）被认为是增强大型语言模型（LLM）如GPT-3和GPT-4记忆能力的有前景工具，然而LLM的文本生成与DR之间存在范式差异，导致两者整合仍然是一个开放性挑战。本文提出了一种高效的LLM导向检索调优器（LMORT），该方法将DR能力与基础LLM解耦，并非侵入性地协调LLM中最优对齐和统一的层，以实现统一的DR空间，从而在不调整LLM本身的情况下实现高效有效的DR。通过在六个BEIR数据集上的广泛实验，我们的方法在零样本检索性能上与多种强大的DR模型相比具有竞争力，同时保持了LLM的生成能力。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLM）与密集检索（DR）任务之间的整合问题。现有方法由于范式差异，难以有效结合LLM的生成能力与DR的检索能力。

核心思路：LMORT的核心思想是将DR能力与基础LLM解耦，通过非侵入性的方法协调LLM的层，使其能够适应统一的DR空间，从而实现高效的检索而无需调整LLM本身。

技术框架：LMORT的整体架构包括三个主要模块：首先是对LLM的层进行分析与选择，其次是构建统一的DR空间，最后是通过优化算法协调各层的对齐与统一。

关键创新：LMORT的主要创新在于其非侵入性设计，能够在不修改LLM的情况下，优化其检索能力。这一方法与传统的需要调整LLM的方式有本质区别。

关键设计：在设计中，LMORT采用了特定的层选择策略和对齐算法，确保在优化过程中保持LLM的生成能力，同时引入了适应性损失函数以提高检索性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LMORT在六个BEIR数据集上实现了竞争性的零样本检索性能，相较于多种强大的DR模型，LMORT的检索效果显著提升，验证了其有效性与实用性。

🎯 应用场景

该研究的潜在应用领域包括信息检索、问答系统和智能助手等。通过有效整合LLM与检索能力，LMORT能够提升用户在信息获取过程中的体验，具有实际价值和广泛的应用前景。

📄 摘要（原文）

Dense Retrieval (DR) is now considered as a promising tool to enhance the memorization capacity of Large Language Models (LLM) such as GPT3 and GPT-4 by incorporating external memories. However, due to the paradigm discrepancy between text generation of LLM and DR, it is still an open challenge to integrate the retrieval and generation tasks in a shared LLM. In this paper, we propose an efficient LLM-Oriented Retrieval Tuner, namely LMORT, which decouples DR capacity from base LLM and non-invasively coordinates the optimally aligned and uniform layers of the LLM towards a unified DR space, achieving an efficient and effective DR without tuning the LLM itself. The extensive experiments on six BEIR datasets show that our approach could achieve competitive zero-shot retrieval performance compared to a range of strong DR models while maintaining the generation ability of LLM.