Rethinking Benchmark and Contamination for Language Models with Rephrased Samples

📄 arXiv: 2311.04850v2 📥 PDF

作者: Shuo Yang, Wei-Lin Chiang, Lianmin Zheng, Joseph E. Gonzalez, Ion Stoica

分类: cs.CL, cs.AI

发布日期: 2023-11-08 (更新: 2023-11-11)

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于LLM的去污染方法以解决语言模型基准污染问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 基准污染 去污染方法 模型评估 数据重叠 自然语言处理 机器学习

📋 核心要点

  1. 现有的去污染方法主要依赖字符串匹配，无法有效处理测试数据的变体，导致基准污染问题严重。
  2. 论文提出了一种基于大型语言模型的去污染方法，能够识别和消除潜在的基准重叠。
  3. 在多个基准测试中，发现了8-18%的重叠，表明现有数据集存在显著污染风险，呼吁社区采取更强的去污染措施。

📝 摘要（中文）

随着大型语言模型在海量数据上训练，公众基准的可信度受到质疑，尤其是预训练或微调数据集中的污染问题。现有的去污染方法主要依赖字符串匹配，但无法有效应对测试数据的简单变体（如释义和翻译）。本研究展示了如果不消除这些变体，模型可能会过拟合基准，导致性能虚高。我们提出了一种更强的基于LLM的去污染方法，并在多个广泛使用的基准上验证了其有效性，发现了显著的测试重叠，呼吁社区采用更强的去污染措施并开发新的评估方法。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在训练过程中可能遭遇的基准污染问题，现有方法如字符串匹配无法有效去除测试数据的变体，导致模型过拟合基准，性能虚高。

核心思路：我们提出了一种基于大型语言模型的去污染方法，通过识别和消除与基准数据重叠的样本，增强模型的评估准确性。此方法能够处理多种形式的测试数据变体，确保模型评估的公正性。

技术框架：整体架构包括数据收集、去污染模型训练、重叠样本识别和评估四个主要模块。首先收集预训练和微调数据集，然后训练去污染模型，最后识别重叠样本并进行评估。

关键创新：本研究的创新点在于引入了基于LLM的去污染方法，能够有效识别和消除潜在的基准重叠，与传统的字符串匹配方法相比，具有更高的准确性和鲁棒性。

关键设计：在模型训练中，我们使用了多种损失函数来优化去污染效果，并设计了适应性参数设置，以提高模型对不同数据集的适应能力。

🖼️ 关键图片

img_0

📊 实验亮点

在多个基准测试中，我们发现8-18%的重叠，表明现有数据集存在显著污染风险。通过新的去污染方法，模型的评估结果更为真实，避免了因过拟合导致的虚高性能，提升了评估的可信度。

🎯 应用场景

该研究的去污染方法可广泛应用于自然语言处理领域，尤其是在模型评估和基准测试中，确保评估结果的可靠性和准确性。未来，这一方法可能推动更严格的基准测试标准，促进语言模型的健康发展。

📄 摘要（原文）

Large language models are increasingly trained on all the data ever produced by humans. Many have raised concerns about the trustworthiness of public benchmarks due to potential contamination in pre-training or fine-tuning datasets. While most data decontamination efforts apply string matching (e.g., n-gram overlap) to remove benchmark data, we show that these methods are insufficient, and simple variations of test data (e.g., paraphrasing, translation) can easily bypass these decontamination measures. Furthermore, we demonstrate that if such variation of test data is not eliminated, a 13B model can easily overfit a test benchmark and achieve drastically high performance, on par with GPT-4. We validate such observations in widely used benchmarks such as MMLU, GSK8k, and HumanEval. To address this growing risk, we propose a stronger LLM-based decontamination method and apply it to widely used pre-training and fine-tuning datasets, revealing significant previously unknown test overlap. For example, in pre-training sets such as RedPajama-Data-1T and StarCoder-Data, we identified that 8-18\% of the HumanEval benchmark overlaps. Interestingly, we also find such contamination in synthetic dataset generated by GPT-3.5/4, suggesting a potential risk of unintentional contamination. We urge the community to adopt stronger decontamination approaches when using public benchmarks. Moreover, we call for the community to actively develop fresh one-time exams to evaluate models accurately. Our decontamination tool is publicly available at https://github.com/lm-sys/llm-decontaminator.