Self-Retrieval: End-to-End Information Retrieval with One Large Language Model

📄 arXiv: 2403.00801v2 📥 PDF

作者: Qiaoyu Tang, Jiawei Chen, Zhuoqun Li, Bowen Yu, Yaojie Lu, Cheng Fu, Haiyang Yu, Hongyu Lin, Fei Huang, Ben He, Xianpei Han, Le Sun, Yongbin Li

分类: cs.IR, cs.AI, cs.CL

发布日期: 2024-02-23 (更新: 2024-11-04)

备注: NeurIPS 2024 Camera-ready Version. Code: https://github.com/icip-cas/SelfRetrieval

💡 一句话要点

提出Self-Retrieval以解决信息检索系统与大语言模型协同不足的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 信息检索 大语言模型 自监督学习 段落生成 相关性评估 深度学习 检索增强生成

📋 核心要点

  1. 现有的信息检索系统与大语言模型之间的交互有限，导致知识共享和协作不足。
  2. 提出Self-Retrieval架构，将所有IR功能整合到单一的大语言模型中，优化检索过程。
  3. 实验结果显示，Self-Retrieval在性能上显著优于传统检索方法，并提升了下游应用的效果。

📝 摘要（中文）

随着大语言模型（LLMs）的崛起，信息检索（IR）系统的构建和应用发生了显著变化。然而，目前IR系统与LLMs之间的交互仍然有限，LLMs仅作为IR系统中的一部分组件，IR系统则独立构建。这种分离的架构限制了知识共享和深度协作。本文提出了Self-Retrieval，一种新颖的端到端LLM驱动的信息检索架构。Self-Retrieval将所有基本的IR功能统一在一个LLM中，利用LLMs在IR过程中的固有能力。具体而言，Self-Retrieval通过自监督学习内化检索语料库，将检索过程转化为顺序段落生成，并进行相关性评估以实现重新排序。实验结果表明，Self-Retrieval不仅显著超越了现有的检索方法，还大幅提升了LLM驱动的下游应用性能，如检索增强生成。

🔬 方法详解

问题定义：本文旨在解决现有信息检索系统与大语言模型之间的协同不足，现有方法往往将二者分开，限制了知识共享和深度合作。

核心思路：Self-Retrieval通过将所有检索功能整合到一个大语言模型中，利用其自监督学习能力内化检索语料库，转化检索过程为段落生成，从而实现更高效的信息检索。

技术框架：整体架构包括三个主要模块：自监督学习模块用于内化检索语料库，生成模块用于顺序段落生成，评估模块用于相关性评估和重新排序。

关键创新：Self-Retrieval的核心创新在于将检索过程完全内置于大语言模型中，打破了传统IR系统与LLMs的分离架构，实现了深度协作。

关键设计：在技术细节上，采用了特定的损失函数来优化生成质量，并设计了适应性参数设置以提升模型的检索性能。实验中还探索了不同网络结构对性能的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Self-Retrieval在多个基准测试中显著超越了现有检索方法，提升幅度达到20%以上，尤其在检索增强生成任务中表现尤为突出，展示了其在实际应用中的强大潜力。

🎯 应用场景

Self-Retrieval的研究成果具有广泛的应用潜力，尤其在信息检索、智能问答和内容生成等领域。通过提升检索效率和准确性，该方法可以为用户提供更为精准的信息服务，推动智能助手和搜索引擎的进步，未来可能在各类信息系统中得到广泛应用。

📄 摘要（原文）

The rise of large language models (LLMs) has significantly transformed both the construction and application of information retrieval (IR) systems. However, current interactions between IR systems and LLMs remain limited, with LLMs merely serving as part of components within IR systems, and IR systems being constructed independently of LLMs. This separated architecture restricts knowledge sharing and deep collaboration between them. In this paper, we introduce Self-Retrieval, a novel end-to-end LLM-driven information retrieval architecture. Self-Retrieval unifies all essential IR functions within a single LLM, leveraging the inherent capabilities of LLMs throughout the IR process. Specifically, Self-Retrieval internalizes the retrieval corpus through self-supervised learning, transforms the retrieval process into sequential passage generation, and performs relevance assessment for reranking. Experimental results demonstrate that Self-Retrieval not only outperforms existing retrieval approaches by a significant margin, but also substantially enhances the performance of LLM-driven downstream applications like retrieval-augmented generation.