Can we Evaluate RAGs with Synthetic Data?

📄 arXiv: 2508.11758v2 📥 PDF

作者: Jonas van Elburg, Peter van der Putten, Maarten Marx

分类: cs.CL, cs.AI

发布日期: 2025-08-15 (更新: 2025-10-21)

备注: Accepted for the SynDAiTE workshop at the European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML-PKDD 2025), September 15, 2025 - Porto, Portugal

💡 一句话要点

探讨合成数据在RAG评估中的有效性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 合成数据 问答系统 检索增强生成 大型语言模型 性能评估 自然语言处理 机器学习

📋 核心要点

  1. 核心问题：现有方法在缺乏人类标注数据时，如何有效评估RAG模型的性能仍然是一个挑战。
  2. 方法要点：本文提出使用大型语言模型生成的合成问答数据作为人类标注基准的替代，进行系统性评估。
  3. 实验或效果：实验结果表明，合成基准在检索器配置的排名上与人类标注结果一致，但在生成器架构的比较中表现不佳。

📝 摘要（中文）

本文研究了大型语言模型生成的合成问答数据是否可以作为人类标注基准的有效替代，尤其是在后者不可用的情况下。通过两个实验评估合成基准的可靠性：一个实验中固定生成器参数而变化检索器参数，另一个实验中固定检索器参数而变化生成器。结果表明，在四个数据集上，合成基准能够可靠地对不同检索器配置的RAG进行排名，并与人类标注基准结果一致。然而，在比较生成器架构时，合成基准未能始终产生可靠的RAG排名，这可能源于合成与人类基准之间的任务不匹配及对某些生成器的风格偏见。

🔬 方法详解

问题定义：本文旨在解决在缺乏人类标注数据时，如何有效评估检索增强生成（RAG）模型的性能。现有方法依赖于人类标注基准，限制了评估的灵活性和可用性。

核心思路：论文提出利用大型语言模型生成的合成问答数据作为人类标注基准的替代，评估其在不同检索器和生成器配置下的有效性。通过这种方式，研究者希望找到一种在缺乏真实数据时仍能可靠评估模型的方法。

技术框架：研究设计了两个主要实验。第一个实验中，固定生成器参数，变化检索器参数；第二个实验中，固定检索器参数，变化生成器。通过比较合成基准与人类标注基准的排名一致性，评估合成数据的有效性。

关键创新：最重要的创新在于提出了合成问答数据作为评估RAG模型的替代方案，并通过系统性实验验证了其在特定条件下的可靠性。这一方法为缺乏人类标注数据的场景提供了新的解决思路。

关键设计：实验中涉及的关键参数包括检索器和生成器的配置，损失函数的选择，以及合成数据生成的策略。这些设计确保了实验的可重复性和结果的可靠性。通过对比不同配置的性能，研究者能够深入分析合成数据的优势与局限。

📊 实验亮点

实验结果显示，在四个数据集上，合成基准能够可靠地对不同检索器配置的RAG进行排名，且与人类标注基准结果高度一致。然而，在生成器架构的比较中，合成基准未能始终产生可靠的排名，显示出合成数据在特定条件下的局限性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、信息检索和对话系统等。通过提供一种在缺乏人类标注数据时的评估手段，研究可以帮助开发更高效的问答系统和智能助手，提升其在实际应用中的表现和可靠性。未来，该方法可能会推动合成数据在更多机器学习任务中的应用，降低对人工标注的依赖。

📄 摘要（原文）

We investigate whether synthetic question-answer (QA) data generated by large language models (LLMs) can serve as an effective proxy for human-labeled benchmarks when the latter is unavailable. We assess the reliability of synthetic benchmarks across two experiments: one varying retriever parameters while keeping the generator fixed, and another varying the generator with fixed retriever parameters. Across four datasets, of which two open-domain and two proprietary, we find that synthetic benchmarks reliably rank the RAGs varying in terms of retriever configuration, aligning well with human-labeled benchmark baselines. However, they do not consistently produce reliable RAG rankings when comparing generator architectures. The breakdown possibly arises from a combination of task mismatch between the synthetic and human benchmarks, and stylistic bias favoring certain generators.