Investigating the performance of Retrieval-Augmented Generation and fine-tuning for the development of AI-driven knowledge-based systems

📄 arXiv: 2403.09727v1 📥 PDF

作者: Robert Lakatos, Peter Pollner, Andras Hajdu, Tamas Joo

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-03-12

期刊: Mach. Learn. Knowl. Extr. 2025, 7, 15

DOI: 10.3390/make7010015

💡 一句话要点

提出RAG与FN结合的知识系统以提升生成模型性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识驱动系统 生成性大语言模型 检索增强生成 微调 性能评估 领域适应 自然语言处理

📋 核心要点

  1. 现有的知识驱动系统在生成内容的准确性和效率上存在不足，尤其是在处理特定领域信息时。
  2. 本文提出通过检索增强生成（RAG）和微调（FN）相结合的方法，以实现对生成性大语言模型的领域适应。
  3. 实验结果显示，RAG架构在多个指标上显著优于FN模型，尤其在ROUGE和BLEU分数上提升明显，展示了RAG的优势。

📝 摘要（中文）

生成性大语言模型（G-LLM）的发展为知识驱动系统的构建提供了新机遇。本文比较了检索增强生成（RAG）与微调（FN）在GPT-J-6B、OPT-6.7B、LlaMA和LlaMA-2模型上的性能。通过ROUGE、BLEU、METEOR分数和余弦相似度的评估，结果表明RAG在效率上优于FN，且RAG与FN的结合并非易事，可能导致性能下降。我们提出了一种简单的RAG架构，平均ROUGE分数比FN模型高出16%，BLEU分数高出15%，余弦相似度高出53%。尽管FN模型在METEOR分数上表现更具创造性，但RAG在幻觉问题上具有显著优势。

🔬 方法详解

问题定义：本文旨在解决现有知识驱动系统在生成内容时的准确性和效率不足的问题，尤其是在特定领域的适应性上存在挑战。

核心思路：通过比较检索增强生成（RAG）与微调（FN）的方法，提出一种新的RAG架构，以提高生成模型的性能和效率。

技术框架：整体架构包括数据检索模块、生成模块和评估模块。数据检索模块负责从知识库中获取相关信息，生成模块利用RAG技术生成响应，评估模块则使用ROUGE、BLEU等指标进行性能评估。

关键创新：最重要的创新在于提出了一种简单的RAG架构，该架构在多个性能指标上超越了传统的FN模型，尤其在减少幻觉现象方面表现突出。

关键设计：在模型设计中，采用了特定的参数设置和损失函数，以优化RAG的生成效果，同时确保与FN模型的有效结合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，RAG架构在ROUGE分数上平均提升16%，在BLEU分数上提升15%，在余弦相似度上提升53%。尽管FN模型在METEOR分数上表现更具创造性，但RAG在减少幻觉现象方面具有明显优势。

🎯 应用场景

该研究的潜在应用领域包括智能客服、自动问答系统和个性化推荐等。通过提高生成模型的准确性和效率，能够为用户提供更为精准和高效的服务，具有重要的实际价值和未来影响。

📄 摘要（原文）

The development of generative large language models (G-LLM) opened up new opportunities for the development of new types of knowledge-based systems similar to ChatGPT, Bing, or Gemini. Fine-tuning (FN) and Retrieval-Augmented Generation (RAG) are the techniques that can be used to implement domain adaptation for the development of G-LLM-based knowledge systems. In our study, using ROUGE, BLEU, METEOR scores, and cosine similarity, we compare and examine the performance of RAG and FN for the GPT-J-6B, OPT-6.7B, LlaMA, LlaMA-2 language models. Based on measurements shown on different datasets, we demonstrate that RAG-based constructions are more efficient than models produced with FN. We point out that connecting RAG and FN is not trivial, because connecting FN models with RAG can cause a decrease in performance. Furthermore, we outline a simple RAG-based architecture which, on average, outperforms the FN models by 16% in terms of the ROGUE score, 15% in the case of the BLEU score, and 53% based on the cosine similarity. This shows the significant advantage of RAG over FN in terms of hallucination, which is not offset by the fact that the average 8% better METEOR score of FN models indicates greater creativity compared to RAG.