Generalization or Memorization: Data Contamination and Trustworthy Evaluation for Large Language Models
作者: Yihong Dong, Xue Jiang, Huanyu Liu, Zhi Jin, Bin Gu, Mengfei Yang, Ge Li
分类: cs.CL, cs.AI, cs.CR, cs.LG, cs.SE
发布日期: 2024-02-24 (更新: 2024-05-31)
备注: Accepted to ACL
💡 一句话要点
提出CDD和TED以解决大语言模型的数据污染问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 数据污染 大语言模型 可信评估 输出分布 检测方法 实验评估
📋 核心要点
- 现有方法在检测和缓解大语言模型的数据污染方面面临显著挑战，尤其是训练数据的透明度不足和模型的黑箱特性。
- 本文提出的CDD方法通过分析LLM输出分布的峰度来检测数据污染，而TED则通过修正输出分布来进行可信评估。
- 实验结果显示，CDD在多个评估指标上相较于其他检测方法有显著提升，TED有效减轻了数据污染带来的性能提升。
📝 摘要（中文）
近年来，大语言模型（LLMs）的强大能力常通过开放基准测试进行评估。然而，由于训练数据的庞大和多样性，LLMs可能会隐含或显性地包含测试数据，从而导致数据污染问题。本文提出了CDD（通过输出分布检测污染）和TED（通过输出分布进行可信评估）两种方法，前者通过识别LLM输出分布的峰度来检测数据污染，后者则通过修正输出分布来减轻数据污染对评估的影响。此外，本文还引入了DetCon和ComiEval两个基准，用于数据污染检测和污染缓解评估任务。实验结果表明，CDD在准确率、F1分数和AUC指标上相较于其他方法平均提升21.8%-30.2%，而TED在不同污染设置下可显著减轻高达66.9%的性能提升，揭示了ChatGPT在HumanEval基准上面临的数据污染风险。
🔬 方法详解
问题定义：本文旨在解决大语言模型在评估时可能受到的数据污染问题。现有方法因训练数据的不透明性和模型的黑箱特性，难以有效检测和缓解数据污染的影响。
核心思路：论文提出了CDD和TED两种方法，CDD通过分析输出分布的峰度来检测数据污染，而TED则通过修正输出分布来减轻数据污染对评估结果的影响。这样的设计旨在提高检测的准确性和评估的可信度。
技术框架：CDD方法主要包括数据采样、输出分布分析和污染检测三个模块；TED则包含输出分布修正和可信评估两个阶段。整体流程通过对比分析输出分布的特征来识别污染。
关键创新：CDD的创新在于仅依赖采样文本来检测数据污染，能够有效识别隐性污染，而TED则通过修正输出分布显著提高评估的可信度。这与传统方法依赖完整训练数据的方式有本质区别。
关键设计：在CDD中，关键参数包括输出分布的峰度阈值；TED的设计则涉及输出分布的修正算法和损失函数的选择，以确保评估结果的可靠性。整体方法在实验中表现出色，验证了其有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，CDD在准确率、F1分数和AUC指标上平均提升21.8%-30.2%，有效检测隐性污染；TED在不同污染设置下显著减轻了高达66.9%的性能提升，表明其在评估中的有效性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等，能够帮助开发更为可靠和可信的大语言模型。通过有效检测和缓解数据污染，提升模型在实际应用中的表现和用户信任度，具有重要的实际价值和未来影响。
📄 摘要（原文）
Recent statements about the impressive capabilities of large language models (LLMs) are usually supported by evaluating on open-access benchmarks. Considering the vast size and wide-ranging sources of LLMs' training data, it could explicitly or implicitly include test data, leading to LLMs being more susceptible to data contamination. However, due to the opacity of training data, the black-box access of models, and the rapid growth of synthetic training data, detecting and mitigating data contamination for LLMs faces significant challenges. In this paper, we propose CDD, which stands for Contamination Detection via output Distribution for LLMs. CDD necessitates only the sampled texts to detect data contamination, by identifying the peakedness of LLM's output distribution. To mitigate the impact of data contamination in evaluation, we also present TED: Trustworthy Evaluation via output Distribution, based on the correction of LLM's output distribution. To facilitate this study, we introduce two benchmarks, i.e., DetCon and ComiEval, for data contamination detection and contamination mitigation evaluation tasks. Extensive experimental results show that CDD achieves the average relative improvements of 21.8\%-30.2\% over other contamination detection approaches in terms of Accuracy, F1 Score, and AUC metrics, and can effectively detect implicit contamination. TED substantially mitigates performance improvements up to 66.9\% attributed to data contamination across various contamination setups. In real-world applications, we reveal that ChatGPT exhibits a high potential to suffer from data contamination on HumanEval benchmark.