WeaveMark: Robust and Scalable Multi-bit LLM Watermarking via Coded Payload Spreading

📄 arXiv: 2609.02177v1 📥 PDF

作者: Gang-Hyun Park, Ju-Hyeong Lee, Hee-Youl Kwak, Dae-Young Yun

分类: cs.CR, cs.LG

发布日期: 2026-09-02

备注: 16 pages, 11 figures. Code: https://github.com/qkrrkd90-source/WeaveMark

🔗 代码/项目: GITHUB

💡 一句话要点

提出WeaveMark以解决大语言模型水印提取准确性与文本质量的矛盾问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多比特水印 大型语言模型 信息追踪 文本质量 编码负载扩展

📋 核心要点

  1. 现有多比特水印方法在提取准确性、文本质量和负载能力之间存在权衡，难以兼顾。
  2. WeaveMark通过多比特每个标记的扩展和软判决纠错码，提升了水印的负载能力和提取准确性，同时保持文本质量。
  3. 实验结果表明，WeaveMark在32比特消息的匹配率达到89.8%，相比于BiMark的20.8%有显著提升。

📝 摘要（中文）

多比特水印技术为大型语言模型（LLMs）提供了内容来源追踪的能力，通过将用户可识别的信息嵌入生成的文本中。然而，现有方法在提取准确性、文本质量和负载能力之间存在基本的权衡。本文提出了WeaveMark，一种基于编码负载扩展的稳健且可扩展的多比特LLM水印方案。WeaveMark通过多比特每个标记的扩展提高了负载能力，通过软判决纠错码提高了提取准确性，并通过无偏多层重加权保持了文本质量。此外，WeaveMark引入了专用的零比特层以可靠检测水印的存在。实验结果显示，特别是在长消息和编辑文本的情况下，WeaveMark表现出显著的提升。

🔬 方法详解

问题定义：本文旨在解决现有多比特水印技术在提取准确性、文本质量和负载能力之间的权衡问题。现有方法在面对长消息和编辑文本时，提取准确性和文本质量往往难以兼得。

核心思路：WeaveMark的核心思路是通过多比特每个标记的扩展来提高负载能力，同时利用软判决纠错码来增强提取准确性，并通过无偏多层重加权来保持文本质量。

技术框架：WeaveMark的整体架构包括多个模块：首先是负载扩展模块，通过多比特每个标记的方式进行信息嵌入；其次是错误纠正模块，采用软判决纠错码来提高提取的准确性；最后是文本质量保持模块，利用无偏多层重加权来确保生成文本的自然性。

关键创新：WeaveMark的主要创新在于引入了专用的零比特层，这一设计使得水印的存在检测更加可靠，显著提升了水印的稳健性和提取准确性。与现有方法相比，WeaveMark在负载能力和提取准确性上均有显著提升。

关键设计：在参数设置上，WeaveMark采用了多比特每个标记的扩展方式，并结合软判决纠错码的设计，确保在高负载情况下仍能保持较高的提取准确性。此外，损失函数的设计也考虑了文本质量的保持，确保生成文本的流畅性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，WeaveMark在200个标记的32比特消息匹配率达到89.8%，而BiMark仅为20.8%。在面对10%的替换攻击时，WeaveMark对16比特消息的提取准确率为86.0%，相比之下，BiMark仅为30.7%。这些结果表明WeaveMark在保持文本质量的同时，显著提升了水印的稳健性和提取准确性。

🎯 应用场景

WeaveMark的研究成果在内容生成、版权保护和信息追踪等领域具有广泛的应用潜力。通过有效嵌入水印，能够帮助内容创作者追踪其作品的使用情况，维护版权。同时，该技术也可用于防止生成文本的篡改，确保信息的真实性和可靠性。未来，WeaveMark可能在更多需要信息追踪和版权保护的场景中发挥重要作用。

📄 摘要（原文）

Multi-bit watermarking for large language models (LLMs) enables content source tracing by embedding user-identifiable messages into generated text. Existing methods face a fundamental trade-off among extraction accuracy, text quality, and payload capacity. We propose WeaveMark, a robust and scalable multi-bit LLM watermarking scheme based on coded payload spreading. WeaveMark shifts this trade-off frontier by improving payload capacity through multi-bit-per-token spreading, improving extraction accuracy through soft-decision error-correcting code, and preserving text quality through unbiased multilayer reweighting. It further introduces dedicated zero-bit layers for reliable watermark presence detection. Experiments show large gains, especially for long messages and edited text. WeaveMark achieves 89.8% match rate for 32-bit messages at 200 tokens, compared with 20.8% for BiMark. Under 10% substitution attacks on 16-bit messages at 200 tokens, it maintains 86.0% versus 30.7%, while preserving text quality. Our code is available at https://github.com/qkrrkd90-source/WeaveMark.