Improving the Generation Quality of Watermarked Large Language Models via Word Importance Scoring

📄 arXiv: 2311.09668v1 📥 PDF

作者: Yuhang Li, Yihan Wang, Zhouxing Shi, Cho-Jui Hsieh

分类: cs.CL, cs.CR, cs.LG

发布日期: 2023-11-16

备注: Work in progress

💡 一句话要点

提出水印重要性评分方法以提升水印大语言模型生成质量

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 水印技术 语言模型 文本生成 重要性评分 机器学习

📋 核心要点

  1. 现有的水印算法在生成过程中改变了logits，可能导致生成文本质量下降，特别是当选择不相关的token时。
  2. 本文提出水印重要性评分（WIS）方法，通过评估token的重要性，确保关键token不受水印影响，从而提升生成文本的质量。
  3. 实验结果表明，WIS方法生成的文本质量更高，同时检测率与现有方法相当，展示了其有效性。

📝 摘要（中文）

大型语言模型（LLMs）具有强大的通用能力，但若不加限制地开放给恶意用户，可能带来潜在的伦理风险。现有的基于token级别的水印算法通过改变生成文本的token概率分布来插入水印，但这种方法可能导致文本质量下降。本文提出了一种水印重要性评分（WIS）的方法，在每个生成步骤中评估token的重要性，确保对语义正确性至关重要的token不受水印影响。我们还提出了三种预测重要性评分的方法，包括基于扰动的方法和两种基于模型的方法。实验证明，该方法能够生成质量更高的文本，同时保持可比的检测率。

🔬 方法详解

问题定义：本文旨在解决现有水印算法在生成文本时可能导致的质量下降问题，尤其是在选择不相关token时的影响。

核心思路：提出水印重要性评分（WIS）方法，通过在生成过程中评估token的重要性，确保对语义正确性至关重要的token不受水印影响，从而提升生成文本的质量。

技术框架：整体流程包括三个主要阶段：首先，评估每个token的重要性；其次，根据重要性决定是否应用水印；最后，生成文本并进行质量评估。

关键创新：最重要的创新在于引入了重要性评分机制，使得水印算法能够动态调整对token的影响，与传统方法相比，显著提升了生成文本的质量。

关键设计：采用了三种重要性评分预测方法，包括基于扰动的方法和两种基于模型的方法，确保在生成过程中能够准确评估token的重要性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，采用WIS方法生成的文本质量显著提升，与基线相比，文本的可读性和语义一致性均有明显改善，同时保持了与现有水印检测率相当的水平，展示了该方法的有效性和实用性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在需要保护生成内容的场景中，如内容创作、自动化写作和信息安全等领域。通过提升水印生成文本的质量，能够有效降低恶意使用的风险，促进更安全的AI应用。未来，该方法可能推动更智能的水印技术发展，提升文本生成的可信度。

📄 摘要（原文）

The strong general capabilities of Large Language Models (LLMs) bring potential ethical risks if they are unrestrictedly accessible to malicious users. Token-level watermarking inserts watermarks in the generated texts by altering the token probability distributions with a private random number generator seeded by its prefix tokens. However, this watermarking algorithm alters the logits during generation, which can lead to a downgraded text quality if it chooses to promote tokens that are less relevant given the input. In this work, we propose to improve the quality of texts generated by a watermarked language model by Watermarking with Importance Scoring (WIS). At each generation step, we estimate the importance of the token to generate, and prevent it from being impacted by watermarking if it is important for the semantic correctness of the output. We further propose three methods to predict importance scoring, including a perturbation-based method and two model-based methods. Empirical experiments show that our method can generate texts with better quality with comparable level of detection rate.