ReSLLM: Large Language Models are Strong Resource Selectors for Federated Search

📄 arXiv: 2401.17645v1 📥 PDF

作者: Shuai Wang, Shengyao Zhuang, Bevan Koopman, Guido Zuccon

分类: cs.IR, cs.AI

发布日期: 2024-01-31

💡 一句话要点

提出ReSLLM以解决联邦搜索中的资源选择问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦搜索 资源选择 大型语言模型 无监督学习 信息检索 自然语言处理 微调技术

📋 核心要点

  1. 现有的资源选择方法依赖特征学习，需大量人工标注，成本高且效率低。
  2. ReSLLM利用大型语言模型在零样本情况下进行资源选择，减少对预定义标签的依赖。
  3. 实验结果显示，ReSLLM在零样本设置下表现出竞争力，并通过SLAT微调获得显著提升。

📝 摘要（中文）

联邦搜索涉及整合来自多个独立搜索引擎的结果，尤其在增强检索生成管道中愈发重要。资源选择是联邦搜索的关键环节，旨在确保高质量、快速的响应并控制外部搜索引擎的调用成本。现有的资源选择方法主要依赖特征学习，需耗费大量人力创建训练标签。本文提出ReSLLM，利用大型语言模型（LLMs）在零样本设置下进行资源选择，并设计了一种无监督微调协议——合成标签增强微调（SLAT），通过预测已记录查询和资源片段的相关性来优化资源选择。实验证明，ReSLLM在零样本设置下具有竞争力的效果，并在使用SLAT微调后表现出显著提升。

🔬 方法详解

问题定义：本文解决的是联邦搜索中的资源选择问题，现有方法主要依赖特征学习，需人工创建大量训练标签，导致成本高且效率低下。

核心思路：ReSLLM利用大型语言模型（LLMs）在零样本设置下评估资源的相关性，避免了对大量预定义标签的需求，从而提高了资源选择的效率和准确性。

技术框架：ReSLLM的整体架构包括资源选择模块和无监督微调模块。资源选择模块利用LLMs进行相关性评估，而微调模块则通过合成标签增强微调（SLAT）来优化选择过程。

关键创新：ReSLLM的主要创新在于将LLMs应用于资源选择的零样本设置，显著降低了对人工标签的依赖，与现有方法相比，提升了资源选择的灵活性和效率。

关键设计：在SLAT微调过程中，使用了已记录查询和资源片段的相关性预测，设计了相应的损失函数以优化模型性能，确保了模型在资源选择任务中的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ReSLLM在零样本设置下的资源选择效果具有竞争力，并在使用SLAT微调后，性能提升显著，具体提升幅度未知，展示了其在实际应用中的有效性。

🎯 应用场景

该研究在联邦搜索、信息检索和自然语言处理等领域具有广泛的应用潜力。通过提高资源选择的效率，ReSLLM可以显著提升基于LLM的应用（如聊天机器人）的响应质量和速度，降低运营成本，推动智能搜索系统的发展。

📄 摘要（原文）

Federated search, which involves integrating results from multiple independent search engines, will become increasingly pivotal in the context of Retrieval-Augmented Generation pipelines empowering LLM-based applications such as chatbots. These systems often distribute queries among various search engines, ranging from specialized (e.g., PubMed) to general (e.g., Google), based on the nature of user utterances. A critical aspect of federated search is resource selection - the selection of appropriate resources prior to issuing the query to ensure high-quality and rapid responses, and contain costs associated with calling the external search engines. However, current SOTA resource selection methodologies primarily rely on feature-based learning approaches. These methods often involve the labour intensive and expensive creation of training labels for each resource. In contrast, LLMs have exhibited strong effectiveness as zero-shot methods across NLP and IR tasks. We hypothesise that in the context of federated search LLMs can assess the relevance of resources without the need for extensive predefined labels or features. In this paper, we propose ReSLLM. Our ReSLLM method exploits LLMs to drive the selection of resources in federated search in a zero-shot setting. In addition, we devise an unsupervised fine tuning protocol, the Synthetic Label Augmentation Tuning (SLAT), where the relevance of previously logged queries and snippets from resources is predicted using an off-the-shelf LLM and then in turn used to fine-tune ReSLLM with respect to resource selection. Our empirical evaluation and analysis details the factors influencing the effectiveness of LLMs in this context. The results showcase the merits of ReSLLM for resource selection: not only competitive effectiveness in the zero-shot setting, but also obtaining large when fine-tuned using SLAT-protocol.