Investigating Data Contamination in Modern Benchmarks for Large Language Models
作者: Chunyuan Deng, Yilun Zhao, Xiangru Tang, Mark Gerstein, Arman Cohan
分类: cs.CL, cs.AI
发布日期: 2023-11-16 (更新: 2024-04-03)
备注: NAACL 2024 Version
💡 一句话要点
提出数据污染检测方法以提升大语言模型评估准确性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 数据污染 大语言模型 评估基准 TS-Guessing 模型性能
📋 核心要点
- 当前大语言模型的评估基准存在潜在污染，导致基准分数与实际性能不符。
- 提出基于检索的系统和TS-Guessing协议，以检测评估基准与预训练数据的重叠。
- 实验结果显示，ChatGPT和GPT-4在猜测缺失选项方面表现优异，分别达到52%和57%的准确率。
📝 摘要（中文）
近期观察显示，大语言模型（LLMs）的基准测试分数与实际表现之间存在差距，引发了对评估基准潜在污染的担忧。尤其是在缺乏训练数据透明度的闭源模型和某些开源模型中，这一问题尤为重要。本文通过提出两种方法来研究数据污染，旨在提高评估的可靠性。首先，我们引入了一种基于检索的系统，以探索评估基准与预训练语料之间的重叠。其次，我们提出了一种名为“测试集槽位猜测”（TS-Guessing）的新调查协议，适用于开源和闭源模型。研究发现，某些商业LLMs能够在多个测试集中意外地猜测缺失选项，强调了更为稳健的评估方法和基准的必要性。
🔬 方法详解
问题定义：本文旨在解决大语言模型评估基准可能存在的数据污染问题，现有方法缺乏对训练数据透明度的考虑，导致评估结果不可靠。
核心思路：通过引入基于检索的系统和TS-Guessing协议，研究评估基准与预训练语料之间的重叠，进而识别数据污染的影响。
技术框架：整体框架包括两个主要模块：首先是检索系统，用于分析评估基准与训练数据的重叠；其次是TS-Guessing协议，通过遮蔽错误答案和不太可能的词汇，测试模型的推理能力。
关键创新：最重要的创新在于提出了TS-Guessing协议，该方法通过遮蔽和提示的方式，系统性地评估模型在面对缺失信息时的表现，与传统评估方法有本质区别。
关键设计：在TS-Guessing中，设计了多种遮蔽策略，并通过不同的评估基准进行实验，确保了方法的广泛适用性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在TruthfulQA基准中，LLMs在提供额外元数据时表现出显著的性能提升。此外，在MMLU基准中，ChatGPT和GPT-4在猜测缺失选项方面的准确率分别达到了52%和57%，突显了数据污染对评估结果的影响。
🎯 应用场景
该研究的潜在应用领域包括大语言模型的评估和优化，尤其是在教育、医疗和法律等对准确性要求极高的领域。通过提高评估基准的可靠性，能够更好地指导模型的改进和应用，推动人工智能技术的健康发展。
📄 摘要（原文）
Recent observations have underscored a disparity between the inflated benchmark scores and the actual performance of LLMs, raising concerns about potential contamination of evaluation benchmarks. This issue is especially critical for closed-source models and certain open-source models where training data transparency is lacking. In this paper we study data contamination by proposing two methods tailored for both open-source and proprietary LLMs. We first introduce a retrieval-based system to explore potential overlaps between evaluation benchmarks and pretraining corpora. We further present a novel investigation protocol named \textbf{T}estset \textbf{S}lot Guessing (\textit{TS-Guessing}), applicable to both open and proprietary models. This approach entails masking a wrong answer in a multiple-choice question and prompting the model to fill in the gap. Additionally, it involves obscuring an unlikely word in an evaluation example and asking the model to produce it. We find that certain commercial LLMs could surprisingly guess the missing option in various test sets. Specifically, in the TruthfulQA benchmark, we find that LLMs exhibit notable performance improvement when provided with additional metadata in the benchmark. Further, in the MMLU benchmark, ChatGPT and GPT-4 demonstrated an exact match rate of 52\% and 57\%, respectively, in guessing the missing options in benchmark test data. We hope these results underscore the need for more robust evaluation methodologies and benchmarks in the field.