Uncertainty-based Debiasing and Unlearning for Decontamination

📄 arXiv: 2606.23313v1 📥 PDF

作者: Guangzhi Sun, Xiao Zhan, Mark Gales

分类: cs.CY, cs.CL

发布日期: 2026-06-22

💡 一句话要点

提出基于不确定性的去偏差与去学习方法以解决数据污染问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数据污染 去偏差 去学习 样本级评估 不确定性估计 大型语言模型 机器学习

📋 核心要点

  1. 现有去污染方法主要依赖整体准确率评估，无法揭示样本级别的模型行为差异，且许多方法需要未污染模型的访问。
  2. 本文提出了一种样本级评估框架，结合分布距离度量，提出不确定性基础去污染（UBD）方法，利用污染模型的深度集成估计每个样本的记忆情况。
  3. 实验结果显示，UBD在MMLU-Pro和MATH-MCQA数据集上，相较于现有基线方法，样本输出分布显著更接近未污染模型，同时保持了在未污染数据上的性能。

📝 摘要（中文）

基于基准评估的大型语言模型（LLM）能力评估方法受到数据污染的影响，导致性能虚高并影响公平比较。现有去污染方法仅通过整体准确率评估，忽视了样本级别的模型行为差异。本文提出了一种样本级评估框架，结合分布距离度量，评估去污染模型在每个样本上恢复未污染模型输出分布的能力。基于此框架，提出了不确定性基础去污染（UBD）方法，利用污染模型的深度集成来估计每个样本的记忆情况，无需未污染模型或污染样本的知识。UBD通过集成不确定性估计每个样本的修正标量，构建去偏差目标分布，从而进行后处理修正或作为参数更新的软训练信号。实验结果表明，UBD在多个LLM基础上显著改善了样本输出分布，接近未污染模型，同时保持了未污染数据上的模型性能。

🔬 方法详解

问题定义：本文旨在解决数据污染对大型语言模型评估的影响，现有方法仅通过整体准确率评估，无法反映样本级别的模型行为差异，且许多方法依赖于未污染模型的存在。

核心思路：提出一种样本级评估框架，结合分布距离度量，利用不确定性基础去污染（UBD）方法，通过深度集成估计每个样本的记忆情况，无需未污染模型或污染样本的知识。

技术框架：整体架构包括样本级评估框架和UBD方法。评估框架通过分布距离度量来比较去污染模型与未污染模型的输出分布，而UBD方法则通过集成不确定性来估计每个样本的修正标量。

关键创新：UBD方法的核心创新在于利用深度集成来估计每个样本的记忆情况，避免了对未污染模型的依赖，且通过不确定性估计构建去偏差目标分布。

关键设计：UBD方法的关键设计包括集成的不确定性计算、样本修正标量的估计，以及去偏差目标分布的构建，确保了模型在去污染后的输出分布接近未污染模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，UBD方法在MMLU-Pro和MATH-MCQA数据集上，相较于改写和选择置换基线，样本输出分布显著更接近未污染模型，且在未污染数据上的模型性能保持不变，显示出其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器学习模型评估和数据清洗等。通过有效去除数据污染，提升模型的公平性和可靠性，具有重要的实际价值和未来影响，尤其在需要高准确度和公正性的应用场景中。

📄 摘要（原文）

Benchmark-based evaluation is the dominant paradigm for assessing large language model (LLM) capabilities, yet data contamination inflates reported performance and undermines fair comparison. Existing decontamination methods are evaluated solely through aggregate accuracy, which can obscure substantial differences in per-sample model behaviour, and many require access to an uncontaminated model. In this paper, we propose a sample-level evaluation framework for decontamination that complements accuracy-based assessment with distributional distance metrics, measuring how closely a decontaminated model recovers the output distribution of an uncontaminated model on each sample. Building on this framework, we introduce Uncertainty-Based Decontamination (UBD), a family of methods that leverage deep ensembles of the contaminated model to estimate per-sample memorization without requiring a uncontaminated model or knowledge of which samples are contaminated. UBD estimates a per-sample correction scalar from ensemble uncertainty, which is used to construct a debiased target distribution that suppresses the inflated probability mass on correct answers induced by contamination. This target is then used either as a post-hoc output correction (debiasing) or as a soft training signal for parameter update (unlearning). Experiments on MMLU-Pro and MATH-MCQA across multiple LLM backbones demonstrate that UBD produces per-sample output distributions substantially closer to those of an uncontaminated model than paraphrasing or choice-permutation baselines, while preserving model performance on uncontaminated data.