Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation

📄 arXiv: 2402.18150v2 📥 PDF

作者: Shicheng Xu, Liang Pang, Mo Yu, Fandong Meng, Huawei Shen, Xueqi Cheng, Jie Zhou

分类: cs.CL, cs.AI, cs.IR

发布日期: 2024-02-28 (更新: 2024-06-12)

备注: ACL 2024 Main

💡 一句话要点

提出信息精炼训练方法以提升检索增强生成模型性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 信息精炼 无监督学习 大型语言模型 自然语言处理 模型优化 性能提升

📋 核心要点

  1. 现有的检索增强生成方法未能有效指导LLMs利用检索到的信息，导致信息被忽视或误导。
  2. 本文提出的信息精炼训练方法InFO-RAG，使LLMs能够整合检索文本中的知识，生成更优质的文本。
  3. 在11个不同任务的数据集上进行的零-shot预测实验中，InFO-RAG使LLaMA2的性能平均提升了9.39%。

📝 摘要（中文）

检索增强生成（RAG）通过引入额外信息来增强大型语言模型（LLMs），但研究表明，LLMs在有效利用检索信息方面仍面临挑战。本文提出了一种新视角，将LLMs在RAG中的角色视为“信息精炼器”，旨在无论检索文本的正确性、完整性或有用性如何，均能整合知识以生成更简洁、准确和完整的文本。为此，提出了一种名为InFO-RAG的信息精炼训练方法，以无监督方式优化LLMs在RAG中的表现。大量实验表明，InFO-RAG在多个任务上显著提升了LLaMA2的性能，平均提升9.39%。

🔬 方法详解

问题定义：本文旨在解决LLMs在检索增强生成任务中未能有效利用检索信息的问题。现有方法未能明确指导LLMs如何处理不同质量的检索文本，导致信息的忽视或误导。

核心思路：论文提出将LLMs视为“信息精炼器”，使其能够整合检索文本中的知识，无论其质量如何，从而生成更简洁、准确和完整的文本。

技术框架：InFO-RAG方法包括信息精炼训练的多个阶段，首先通过无监督方式优化LLMs，然后在不同任务中进行评估。主要模块包括信息检索、文本整合和生成模型优化。

关键创新：最重要的创新在于将LLMs的角色重新定义为信息精炼器，强调其在生成过程中对检索信息的整合能力，这与传统方法的直接使用检索信息的方式有本质区别。

关键设计：在训练过程中，InFO-RAG采用了特定的损失函数和参数设置，以确保模型能够有效学习如何处理和整合不同质量的检索文本。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，InFO-RAG在11个不同任务的数据集上对LLaMA2的性能提升平均达到9.39%。此外，该方法在上下文学习和RAG的鲁棒性方面也展现出显著优势，表明其在多任务环境中的有效性。

🎯 应用场景

该研究的潜在应用领域包括问答系统、对话生成、代码生成等任务，能够显著提升模型在实际应用中的表现。通过优化LLMs对检索信息的利用，未来可在更广泛的自然语言处理任务中实现更高的准确性和效率。

📄 摘要（原文）

Retrieval-augmented generation (RAG) enhances large language models (LLMs) by incorporating additional information from retrieval. However, studies have shown that LLMs still face challenges in effectively using the retrieved information, even ignoring it or being misled by it. The key reason is that the training of LLMs does not clearly make LLMs learn how to utilize input retrieved texts with varied quality. In this paper, we propose a novel perspective that considers the role of LLMs in RAG as ``Information Refiner'', which means that regardless of correctness, completeness, or usefulness of retrieved texts, LLMs can consistently integrate knowledge within the retrieved texts and model parameters to generate the texts that are more concise, accurate, and complete than the retrieved texts. To this end, we propose an information refinement training method named InFO-RAG that optimizes LLMs for RAG in an unsupervised manner. InFO-RAG is low-cost and general across various tasks. Extensive experiments on zero-shot prediction of 11 datasets in diverse tasks including Question Answering, Slot-Filling, Language Modeling, Dialogue, and Code Generation show that InFO-RAG improves the performance of LLaMA2 by an average of 9.39\% relative points. InFO-RAG also shows advantages in in-context learning and robustness of RAG.