Watermarking Makes Language Models Radioactive
作者: Tom Sander, Pierre Fernandez, Alain Durmus, Matthijs Douze, Teddy Furon
分类: cs.CR, cs.AI, cs.CL, cs.LG
发布日期: 2024-02-22 (更新: 2024-10-25)
备注: Published at NeurIPS 2024 (Spotlight). Code at https://github.com/facebookresearch/radioactive-watermark - webpage at https://pierrefdz.github.io/publications/radioactive/
💡 一句话要点
提出水印技术以检测语言模型的合成数据来源
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 水印技术 合成数据 模型训练 数据来源检测 知识产权保护 统计保证
📋 核心要点
- 现有方法在检测合成文本来源时存在局限性，无法提供可靠的统计保证，尤其在未知文本情况下。
- 论文提出了一种新方法，通过检测水印信号的残留，能够有效判断语言模型是否使用了合成数据进行训练。
- 实验结果显示，即使训练文本中仅有5%为水印内容，仍能以高置信度（p值<10^-5）检测到水印指令的训练。
📝 摘要（中文）
本研究探讨了大型语言模型（LLM）生成文本的“放射性”，即是否可以检测到合成输入被用于训练后续的LLM。现有的方法如成员推断或主动知识产权保护在已知文本的情况下有效，但缺乏可靠的统计保证。我们发现，如果合成数据来自水印的LLM，则可以可靠地判断该语言模型是否在合成数据上进行训练。我们提出的新方法专门针对放射性，能够以可证明的置信度检测到微弱的水印信号残留。我们将放射性污染水平与水印的鲁棒性、训练集中的比例及微调过程等属性关联起来。实验表明，即使只有5%的训练文本是水印的，若嫌疑模型为开放权重，仍能以高置信度检测到水印指令的训练。
🔬 方法详解
问题定义：本研究旨在解决如何有效检测大型语言模型是否在合成数据上进行训练的问题。现有方法在未知文本情况下的检测能力不足，缺乏可靠的统计保证。
核心思路：论文的核心思路是利用水印技术，通过检测微弱的水印信号残留来判断模型的训练数据来源。这种设计能够提供更高的检测置信度。
技术框架：整体架构包括水印的生成与嵌入、模型的训练与微调、以及后续的水印信号检测。主要模块包括水印生成模块、训练数据处理模块和信号检测模块。
关键创新：最重要的技术创新在于提出了一种新的检测方法，能够在合成数据中识别水印信号的残留，与现有的成员推断方法相比，提供了更高的检测准确性和可靠性。
关键设计：在参数设置上，水印的鲁棒性和比例是关键因素。损失函数设计上，强调了水印信号的保留与模型性能的平衡，确保在微调过程中水印信号的有效性。网络结构上，采用了适应性调整的策略，以增强水印信号的检测能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用水印的语言模型在训练后，能够以高达95%的置信度检测到合成数据的使用，尤其是在训练集中的水印比例达到5%时，p值低于10^-5，显示出显著的检测能力提升。
🎯 应用场景
该研究的潜在应用领域包括文本生成模型的安全性检测、合成数据的来源追踪以及知识产权保护。通过有效识别合成数据的来源，可以帮助开发者和研究人员更好地理解和管理模型训练过程中的数据使用情况，提升模型的透明度与可信度。
📄 摘要（原文）
We investigate the radioactivity of text generated by large language models (LLM), i.e. whether it is possible to detect that such synthetic input was used to train a subsequent LLM. Current methods like membership inference or active IP protection either work only in settings where the suspected text is known or do not provide reliable statistical guarantees. We discover that, on the contrary, it is possible to reliably determine if a language model was trained on synthetic data if that data is output by a watermarked LLM. Our new methods, specialized for radioactivity, detects with a provable confidence weak residuals of the watermark signal in the fine-tuned LLM. We link the radioactivity contamination level to the following properties: the watermark robustness, its proportion in the training set, and the fine-tuning process. For instance, if the suspect model is open-weight, we demonstrate that training on watermarked instructions can be detected with high confidence ($p$-value $< 10^{-5}$) even when as little as $5\%$ of training text is watermarked.