Calibrating Post-Training Feature Shifts for LLM Data Contamination Detection

📄 arXiv: 2608.10462v1 📥 PDF

作者: Zhen Yang, Mengqi Wang, Gengda Zhao, Mo Zhou, Jianwei Wang, Wenjie Zhang

分类: cs.CL

发布日期: 2026-08-11

备注: 14 pages, 7 figures. The first two authors contributed equally

💡 一句话要点

提出CalibDCD以解决大语言模型数据污染检测中的特征偏移问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数据污染检测 大语言模型 特征偏移 后期训练 机器学习 模型校准 隐私保护

📋 核心要点

  1. 现有数据污染检测方法在后期训练后，模型输出和特征发生偏移，导致成员与非成员的可分性降低。
  2. 本文提出CalibDCD框架，通过多视角偏移检测和有界特征修正，识别并缓解特征偏移对成员预测的影响。
  3. 实验结果显示，CalibDCD在现有特征检测器上提升了7.0%的AUC和15.0%的TPR@5%FPR，验证了其有效性。

📝 摘要（中文）

大语言模型（LLMs）在大量未公开的语料上进行训练，这些语料可能包含版权或隐私敏感内容。因此，数据污染检测（DCD）旨在判断给定文本是否属于目标LLM的预训练语料。现有的DCD方法多采用基于特征的范式，但现代LLM在后期训练中会改变模型输出，导致特征偏移，降低成员与非成员之间的可分性。为此，本文提出了CalibDCD，一个广泛适用的特征校准框架，包含多视角偏移检测和有界特征修正两个模块，旨在识别和缓解后期训练带来的特征偏移影响。实验结果表明，CalibDCD在AUC和TPR@5%FPR上均有显著提升。

🔬 方法详解

问题定义：本文解决的问题是大语言模型在后期训练过程中，特征偏移导致的数据污染检测性能下降。现有方法未能有效应对这种特征变化，影响了成员与非成员的区分能力。

核心思路：论文的核心思路是通过CalibDCD框架，识别后期训练引起的特征偏移，并通过有界特征修正来减轻这些偏移对成员预测的影响。这种设计旨在提高检测的准确性和可靠性。

技术框架：CalibDCD框架主要包括两个模块：多视角偏移检测和有界特征修正。多视角偏移检测通过评估不同提示变体在已知非成员文本上的表现，识别出特征偏移；有界特征修正则根据检测到的偏移选择性调整特征组件。

关键创新：最重要的技术创新在于引入了多视角偏移检测机制，能够系统性地识别和量化特征偏移，并通过有界特征修正有效控制修正程度，保留有用的检测信息。这与现有方法的单一特征处理方式形成了鲜明对比。

关键设计：在多视角偏移检测中，采用了控制的提示变体来评估特征变化；在有界特征修正中，设计了特征调整的控制机制，以确保修正不会过度影响检测性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CalibDCD在现有特征检测器上实现了显著的性能提升，AUC提高了7.0%，TPR@5%FPR提升了15.0%。这些结果验证了CalibDCD在处理后期训练引起的特征偏移方面的有效性，展示了其在数据污染检测中的重要应用潜力。

🎯 应用场景

该研究的潜在应用领域包括版权保护、隐私安全和内容审核等。通过提高数据污染检测的准确性，CalibDCD能够帮助企业和组织更好地管理和监控其使用的语言模型，确保合规性和安全性。未来，该方法可能在更广泛的文本生成和处理任务中发挥重要作用。

📄 摘要（原文）

Large language models (LLMs) are trained on massive and largely undisclosed corpora that may contain copyrighted or privacy-sensitive content. Data contamination detection (DCD) therefore aims to determine whether a given text is a member of the pre-training corpus of a target LLM. Recent state-of-the-art DCD methods follow a feature-based paradigm that derives membership features from the input text and the corresponding model output. However, most modern LLMs undergo post-training, such as instruction tuning, preference optimization, and reasoning-oriented training, which can alter model outputs and shift the corresponding membership features, thereby reducing the separability between members and non-members. To address this problem, we propose CalibDCD, a broadly applicable calibration framework for feature-based DCD methods, comprising (1) Multi-View Shift Detection, which identifies recurring feature shifts associated with post-training, and (2) Bounded Feature Correction, which selectively mitigates their influence on membership prediction. Specifically, Multi-View Shift Detection evaluates controlled prompt variants on known non-member texts and consolidates the most informative views to identify recurring feature shifts. Bounded Feature Correction selectively adjusts feature components aligned with the detected shifts and controls the correction extent to preserve useful detection information. Experiments show that CalibDCD consistently improves existing feature-based detectors, with gains of up to 7.0% in AUC and 15.0% in TPR@5%FPR.