Leak, Cheat, Repeat: Data Contamination and Evaluation Malpractices in Closed-Source LLMs
作者: Simone Balloccu, Patrícia Schmidtová, Mateusz Lango, Ondřej Dušek
分类: cs.CL, cs.AI
发布日期: 2024-02-06 (更新: 2024-02-22)
备注: Accepted at EACL 2024 - main conference
💡 一句话要点
系统分析数据污染与评估不当行为在闭源LLMs中的影响
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 数据污染 闭源模型 评估不当行为 自然语言处理 大型语言模型 系统分析 透明性 研究规范
📋 核心要点
- 核心问题：现有研究对闭源LLMs的数据污染问题缺乏系统分析，且存在间接数据泄露的隐患。
- 方法要点：通过分析255篇论文，系统记录数据泄露情况，并揭示评估不当行为。
- 实验或效果：发现模型接触到约470万条样本，并记录了多种评估不当行为，推动了该领域的研究透明度。
📝 摘要（中文）
自然语言处理（NLP）研究越来越关注大型语言模型（LLMs）的使用，尤其是那些完全或部分闭源的模型。由于缺乏对模型细节的访问，尤其是训练数据，研究人员对数据污染问题表示担忧。本文首次系统分析了OpenAI的GPT-3.5和GPT-4在数据污染背景下的使用情况，分析了255篇论文，记录了模型发布后第一年内泄露的数据量，发现这些模型接触到了约470万条来自263个基准的数据。同时，文中还记录了评估不当行为的出现，如不公平或缺失的基线比较和可重复性问题。研究结果已作为协作项目发布，供其他研究人员参与。
🔬 方法详解
问题定义：本文旨在解决闭源大型语言模型（LLMs）中数据污染和评估不当行为的问题。现有方法主要依赖于个案分析，缺乏系统性和全面性，无法有效识别和量化数据泄露的影响。
核心思路：通过对OpenAI的GPT-3.5和GPT-4进行系统分析，研究团队对255篇相关论文进行了深入审查，旨在揭示数据污染的具体情况及其对模型性能评估的影响。
技术框架：研究采用文献分析的方法，结合OpenAI的数据使用政策，系统记录和分析数据泄露情况。主要模块包括数据收集、文献审查、数据泄露量化和评估不当行为识别。
关键创新：本研究的创新点在于首次系统性地分析了闭源LLMs的数据污染问题，揭示了间接数据泄露的现象，并记录了评估不当行为，推动了该领域的研究透明度。
关键设计：研究中采用了定量和定性相结合的方法，重点关注数据泄露的样本数量和来源，同时对评估不当行为进行了分类和分析。
🖼️ 关键图片
📊 实验亮点
研究发现，GPT-3.5和GPT-4在发布后的第一年内接触到了约470万条样本，来自263个基准。同时，文中记录了多种评估不当行为，如缺失的基线比较和可重复性问题，强调了该领域亟需改进的地方。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理模型的开发和评估，尤其是在闭源模型的透明性和可靠性方面。通过识别和量化数据污染问题，研究为改进模型训练和评估提供了重要参考，未来可能影响模型的开发标准和行业规范。
📄 摘要（原文）
Natural Language Processing (NLP) research is increasingly focusing on the use of Large Language Models (LLMs), with some of the most popular ones being either fully or partially closed-source. The lack of access to model details, especially regarding training data, has repeatedly raised concerns about data contamination among researchers. Several attempts have been made to address this issue, but they are limited to anecdotal evidence and trial and error. Additionally, they overlook the problem of \emph{indirect} data leaking, where models are iteratively improved by using data coming from users. In this work, we conduct the first systematic analysis of work using OpenAI's GPT-3.5 and GPT-4, the most prominently used LLMs today, in the context of data contamination. By analysing 255 papers and considering OpenAI's data usage policy, we extensively document the amount of data leaked to these models during the first year after the model's release. We report that these models have been globally exposed to $\sim$4.7M samples from 263 benchmarks. At the same time, we document a number of evaluation malpractices emerging in the reviewed papers, such as unfair or missing baseline comparisons and reproducibility issues. We release our results as a collaborative project on https://leak-llm.github.io/, where other researchers can contribute to our efforts.