Benchmarking Retrieval-Augmented Generation for Medicine

📄 arXiv: 2402.13178v2 📥 PDF

作者: Guangzhi Xiong, Qiao Jin, Zhiyong Lu, Aidong Zhang

分类: cs.CL, cs.AI

发布日期: 2024-02-20 (更新: 2024-02-23)

备注: Homepage: https://teddy-xionggz.github.io/benchmark-medical-rag/

💡 一句话要点

提出MIRAGE基准以优化医学领域的检索增强生成系统

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学问答 检索增强生成 大型语言模型 性能评估 数据集构建 临床决策支持 信息检索

📋 核心要点

  1. 现有的大型语言模型在医学问答中表现优异，但仍存在幻觉和知识过时的问题。
  2. 本文提出了医学信息检索增强生成评估（MIRAGE），为医学领域的RAG系统提供系统评估基准。
  3. 通过大规模实验，MedRAG在多种LLM上提升了准确性，部分模型性能达到了GPT-4级别。

📝 摘要（中文）

尽管大型语言模型在医学问答任务中取得了先进的表现，但仍面临幻觉和知识过时等挑战。检索增强生成（RAG）是一种有前景的解决方案，但缺乏针对不同医学目的的最佳实践。为系统评估此类系统，本文提出了医学信息检索增强生成评估（MIRAGE），这是首个包含来自五个医学问答数据集的7663个问题的基准。通过MedRAG工具包，我们在41种不同的语料库、检索器和基础LLM组合上进行了大规模实验，结果表明MedRAG在六种不同的LLM上提高了多达18%的准确性，使GPT-3.5和Mixtral的性能达到了GPT-4级别。我们的研究结果显示，结合多种医学语料库和检索器能够实现最佳性能。

🔬 方法详解

问题定义：本文旨在解决医学问答中大型语言模型的幻觉和知识过时问题，现有的RAG系统缺乏针对特定医学目的的最佳实践和评估标准。

核心思路：提出医学信息检索增强生成评估（MIRAGE）基准，通过系统化的评估方法来优化RAG系统的设置，以提高医学问答的准确性和可靠性。

技术框架：整体架构包括数据集构建、检索器选择、基础LLM的组合以及MedRAG工具包的应用，涵盖7663个问题的评估。

关键创新：MIRAGE是首个针对医学领域的RAG评估基准，提供了系统化的实验设计和评估标准，显著提升了模型性能。

关键设计：在实验中，使用了41种不同的语料库和检索器组合，优化了参数设置，采用了链式思维提示方法，确保了实验的全面性和可重复性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MedRAG在六种不同的LLM上提高了多达18%的准确性，特别是使GPT-3.5和Mixtral的性能达到了GPT-4级别，展示了不同医学语料库和检索器组合的最佳效果。

🎯 应用场景

该研究的潜在应用领域包括医学问答系统、临床决策支持工具和医疗信息检索等。通过优化RAG系统，能够提高医学领域的信息获取效率和准确性，未来可能对医疗服务的智能化发展产生深远影响。

📄 摘要（原文）

While large language models (LLMs) have achieved state-of-the-art performance on a wide range of medical question answering (QA) tasks, they still face challenges with hallucinations and outdated knowledge. Retrieval-augmented generation (RAG) is a promising solution and has been widely adopted. However, a RAG system can involve multiple flexible components, and there is a lack of best practices regarding the optimal RAG setting for various medical purposes. To systematically evaluate such systems, we propose the Medical Information Retrieval-Augmented Generation Evaluation (MIRAGE), a first-of-its-kind benchmark including 7,663 questions from five medical QA datasets. Using MIRAGE, we conducted large-scale experiments with over 1.8 trillion prompt tokens on 41 combinations of different corpora, retrievers, and backbone LLMs through the MedRAG toolkit introduced in this work. Overall, MedRAG improves the accuracy of six different LLMs by up to 18% over chain-of-thought prompting, elevating the performance of GPT-3.5 and Mixtral to GPT-4-level. Our results show that the combination of various medical corpora and retrievers achieves the best performance. In addition, we discovered a log-linear scaling property and the "lost-in-the-middle" effects in medical RAG. We believe our comprehensive evaluations can serve as practical guidelines for implementing RAG systems for medicine.