Watermark Basins: Black-Box Detection of Distilled LLMs

📄 arXiv: 2610.37266v1 📥 PDF

作者: Hongyan Chang, Hady Elsahar, Tom Sander, Pierre Fernandez, Saeed Mahloujifar, Sylvestre-Alvise Rebuffi, Tomáš Souček, Tuan Tran, Valeriu Lacatusu, Surya Parimi, Rashel Moritz, Vanessa Stark, Alexandre Mourachko

分类: cs.CR, cs.CL, cs.LG

发布日期: 2026-10-27

💡 一句话要点

提出水印盆以解决蒸馏模型检测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 水印检测 蒸馏模型 黑箱检测 几何信号 模型保护 机器学习

📋 核心要点

  1. 现有黑箱检测方法在低温采样时难以检测水印信号，导致蒸馏模型的识别率低。
  2. 提出水印盆的概念，通过在参数空间中嵌入几何信号，增强水印的可检测性。
  3. WM-Basin在不同模型上测试，检测率显著提高，尤其在n-gram=1时达到79%的检测率。

📝 摘要（中文）

专有语言模型及其推理痕迹易受到基于API的蒸馏攻击，攻击者通过教师模型的输出训练学生模型。为获取蒸馏证据，模型提供者可以对教师输出进行水印处理，旨在将信号留在学生输出中。现有的黑箱检测器通过令牌级统计搜索此类信号，但在低温采样时，信号并不总是可检测。本文发现水印盆，这是一种持久信号，能够更可靠地检测水印：在微调过程中，带水印的教师痕迹在参数空间中嵌入一个独特的、特定于密钥的几何信号，该信号与普通任务特定的微调子空间正交。基于此，我们提出了水印盆对齐（WM-Basin），一种黑箱水印检测器，通过API查询可疑模型，而无需访问其权重或logits。我们在不同的教师模型和学生架构上广泛评估WM-Basin，结果显示其在严格的0.1%假阳性率下，能够检测到79%的蒸馏模型，显著优于现有的令牌级基线。

🔬 方法详解

问题定义：本文解决的是如何有效检测经过蒸馏的语言模型中的水印信号。现有方法在低温采样时难以捕捉到水印信号，导致检测效果不佳。

核心思路：论文提出了水印盆的概念，利用教师模型在微调过程中嵌入的几何信号，提供了一种新的水印检测方法WM-Basin，能够在不访问模型权重的情况下进行检测。

技术框架：WM-Basin的整体架构包括通过API查询可疑模型、使用固定的干净探针模型将生成文本映射到梯度表示、投影出普通微调任务方向，并测试残余梯度是否与水印盆对齐。

关键创新：最重要的创新在于水印盆的引入，它提供了一种持久的信号，使得水印检测在经过蒸馏后的模型中依然有效，区别于传统的令牌级检测方法。

关键设计：WM-Basin的设计包括固定的探针模型、特定的投影方法以及对残余梯度的对齐测试，确保了检测的准确性和鲁棒性。实验中使用了多种教师模型和学生架构，参数范围从135M到8.2B。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在严格的0.1%假阳性率下，WM-Basin在n-gram=1时检测到79%的蒸馏模型，在n-gram=3时检测到45%。这些结果显著优于现有的令牌级基线，后者在相同条件下仅检测到29%和1.3%。

🎯 应用场景

该研究的潜在应用领域包括保护专有语言模型的知识产权，防止模型被未经授权的蒸馏和复制。通过有效检测蒸馏模型，模型提供者可以维护其技术优势，确保商业利益。此外，该方法的鲁棒性使其在后续的模型优化和修改中依然有效，具有广泛的实际价值。

📄 摘要（原文）

Proprietary language models and their reasoning traces are vulnerable to API-based distillation, where an adversary trains a student model on the teacher model's outputs. To obtain evidence of distillation, model providers can watermark the teacher's outputs, aiming to leave a radioactive signal in the student's outputs. Existing black-box detectors search for such radioactivity using token-level statistics of the suspect model's outputs. However, token-level signals are not always detectable, for instance when the distillation traces are sampled at a low temperature. In this work, we discover the watermark basin, a persistent signal that enables more reliable watermark detection: during fine-tuning, watermarked teacher traces embed a distinct, key-specific geometric signal in parameter space that lies orthogonal to the ordinary task-specific fine-tuning subspace. Building on this, we introduce Watermark Basin Alignment (WM-Basin), a black-box watermark detector that queries the suspect model through its API, without access to its weights or logits. WM-Basin maps generated text to gradient representations using a fixed clean probe model, projects out the ordinary fine-tuning task directions, and tests whether the residual gradient aligns with the watermark basin induced by the watermark key. We evaluate WM-Basin extensively across diverse teacher models and student architectures (from 135M to 8.2B parameters) distilled on mathematical reasoning. At a strict 0.1% false-positive rate, WM-Basin detects 79% of distilled models at n-gram=1 and 45% at n-gram=3, substantially improving over the state-of-the-art token-level baseline (29% and 1.3%, respectively). Because the watermark signal resides in a persistent basin, it survives post-distillation modifications including quantization, pruning, and reinforcement-learning post-training.