SAC-Copula: Quality-Preserving Watermarking for Diffusion Language Models via Smooth Correlated Gumbel Fields

📄 arXiv: 2608.20839v1 📥 PDF

作者: Baixin Li, Haiyun He

分类: cs.CL, cs.CR, cs.LG

发布日期: 2026-08-21

备注: Accepted to Findings of EMNLP 2026. 24 pages, 13 figures

💡 一句话要点

提出SAC-Copula以解决扩散语言模型水印质量下降问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 扩散语言模型 水印技术 Gumbel扰动 高斯copula 可检测性 生成质量 协方差感知

📋 核心要点

  1. 现有水印方法通常采用位置独立的扰动，导致与扩散语言模型的解码动态不匹配，从而影响生成质量。
  2. SAC-Copula通过构建平滑的局部相关Gumbel扰动场，解决了现有方法的局限性，提升了水印质量。
  3. 在LLaDA上的实验表明，SAC-Copula在PPL尾部稳定性和低假阳性率检测能力上显著优于现有基线。

📝 摘要（中文）

水印扩散语言模型（DLMs）需要与迭代并行解码兼容的机制，而现有的基于采样的方法通常注入位置独立的扰动，这与DLM的解码动态不匹配，导致生成质量下降。为此，本文提出SAC-Copula，一种基于平滑、局部相关的Gumbel扰动场的水印方法，通过高斯copula构建。我们还开发了一个SAC感知检测器，采用协方差感知过滤和原生样本校准。机制级分析表明，局部相关性降低了潜在扰动的粗糙度，更好地匹配了迭代精炼动态。实验结果显示，SAC-Copula在质量与可检测性之间实现了良好的平衡。

🔬 方法详解

问题定义：本文旨在解决扩散语言模型中的水印质量问题，现有方法通过注入位置独立的扰动，导致生成质量下降，无法与模型的解码动态有效匹配。

核心思路：SAC-Copula的核心思想是利用平滑且局部相关的Gumbel扰动场，通过高斯copula构建，旨在减少扰动的粗糙度，从而更好地适应模型的迭代解码过程。

技术框架：该方法包括两个主要模块：首先是水印生成模块，利用高斯copula生成局部相关的Gumbel扰动；其次是SAC感知检测器，采用协方差感知过滤和原生样本校准来提高检测准确性。

关键创新：SAC-Copula的主要创新在于引入了局部相关性来构建扰动场，这与现有方法的独立扰动设计形成鲜明对比，显著提升了水印的质量和可检测性。

关键设计：在设计中，采用了协方差感知的过滤机制，确保了扰动的平滑性和局部一致性，同时在损失函数中考虑了生成质量与水印可检测性的平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SAC-Copula在LLaDA上实现了优于现有基线的质量与可检测性平衡，特别是在PPL尾部稳定性方面，显著改善了低假阳性率检测能力，提升幅度明显。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在保护生成模型的知识产权和防止内容篡改方面。通过有效的水印技术，能够确保生成内容的真实性和可追溯性，未来可能在内容创作、版权保护等领域发挥重要作用。

📄 摘要（原文）

Watermarking diffusion language models (DLMs) requires mechanisms compatible with iterative parallel unmasking rather than autoregressive decoding. Existing sampling-based watermarking methods typically inject position-wise i.i.d. perturbations, which can be poorly aligned with DLM decoding dynamics and degrade generation quality. We propose SAC-Copula, a quality-preserving watermarking method for DLMs based on smooth, locally correlated Gumbel perturbation fields constructed via a Gaussian copula. We further develop a SAC-aware detector using covariance-aware filtering and native-sample calibration. Mechanism-level analysis shows that local correlation reduces latent perturbation roughness and better matches iterative refinement dynamics. Experiments on LLaDA show that SAC-Copula achieves a favorable quality-detectability trade-off compared with existing baselines. In particular, further evaluations on Dream-7B and additional datasets show that SAC-Copula substantially improves PPL tail stability over the i.i.d. Gumbel baseline, while maintaining strong low-FPR detectability and competitive overall generation quality. Additional token-edit stress tests further assess watermark robustness under controlled synchronization drift.