Evaluating Retrieval Quality in Retrieval-Augmented Generation

📄 arXiv: 2404.13781v1 📥 PDF

作者: Alireza Salemi, Hamed Zamani

分类: cs.CL, cs.IR

发布日期: 2024-04-21

💡 一句话要点

提出eRAG以解决检索增强生成评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 评估方法 文档相关性 自然语言处理 信息检索

📋 核心要点

  1. 现有的检索增强生成评估方法计算成本高，且检索模型性能与下游任务相关性较低，难以有效评估。
  2. 提出的eRAG方法通过逐个文档生成输出并评估，利用下游任务的真实标签作为相关性指标，提升评估准确性。
  3. 实验结果显示，eRAG在多个数据集上与下游RAG性能的相关性显著提高，Kendall's $τ$相关性提升至0.494，且计算效率大幅提升。

📝 摘要（中文）

检索增强生成（RAG）的评估面临挑战，尤其是系统内检索模型的评估。传统的端到端评估方法计算成本高，且基于查询-文档相关性标签的检索模型性能评估与RAG系统的下游性能相关性较小。本文提出了一种新颖的评估方法eRAG，逐个利用检索列表中的文档，通过大型语言模型生成输出，并根据下游任务的真实标签进行评估。通过这种方式，每个文档的下游性能作为其相关性标签。实验表明，eRAG在多个数据集上与下游RAG性能的相关性显著提高，Kendall's $τ$相关性提升范围为0.168至0.494，同时在计算效率上也有显著优势，运行时间缩短，GPU内存消耗减少至传统方法的50倍。

🔬 方法详解

问题定义：本文旨在解决检索增强生成（RAG）系统中检索模型评估的低效与不准确问题。现有的端到端评估方法计算成本高，且基于查询-文档相关性标签的评估与下游性能相关性较小。

核心思路：提出的eRAG方法通过逐个利用检索列表中的文档，生成相应的输出，并根据下游任务的真实标签进行评估，从而使每个文档的下游性能成为其相关性标签。

技术框架：eRAG的整体架构包括文档检索、输出生成和性能评估三个主要模块。首先，从检索模型中获取文档列表，然后使用大型语言模型生成每个文档的输出，最后根据下游任务的真实标签进行评估。

关键创新：eRAG的创新点在于通过逐个文档的方式进行评估，显著提高了与下游性能的相关性。这一方法与传统的整体评估方法本质上不同，后者通常依赖于全局相关性标签。

关键设计：在eRAG中，采用了多种下游任务指标来获取文档级注释，并使用集合或排名指标进行聚合。此外，eRAG在计算效率上进行了优化，显著减少了GPU内存的消耗，提升了运行速度。

📊 实验亮点

实验结果显示，eRAG在多个数据集上与下游RAG性能的相关性显著提高，Kendall's $τ$相关性提升范围为0.168至0.494。此外，eRAG在计算效率上表现优异，运行时间缩短，GPU内存消耗减少至传统方法的50倍，展现出显著的优势。

🎯 应用场景

该研究的潜在应用领域包括信息检索、自然语言处理和智能问答系统等。通过提高检索模型的评估准确性，eRAG能够帮助研究人员和工程师更好地优化RAG系统，提升其在实际应用中的表现。未来，eRAG可能会推动更多高效的评估方法的开发，进一步推动相关领域的研究进展。

📄 摘要（原文）

Evaluating retrieval-augmented generation (RAG) presents challenges, particularly for retrieval models within these systems. Traditional end-to-end evaluation methods are computationally expensive. Furthermore, evaluation of the retrieval model's performance based on query-document relevance labels shows a small correlation with the RAG system's downstream performance. We propose a novel evaluation approach, eRAG, where each document in the retrieval list is individually utilized by the large language model within the RAG system. The output generated for each document is then evaluated based on the downstream task ground truth labels. In this manner, the downstream performance for each document serves as its relevance label. We employ various downstream task metrics to obtain document-level annotations and aggregate them using set-based or ranking metrics. Extensive experiments on a wide range of datasets demonstrate that eRAG achieves a higher correlation with downstream RAG performance compared to baseline methods, with improvements in Kendall's $τ$ correlation ranging from 0.168 to 0.494. Additionally, eRAG offers significant computational advantages, improving runtime and consuming up to 50 times less GPU memory than end-to-end evaluation.