Auditing Cross-Lingual Fairness in Language Model Watermarking
作者: Alexander Nemecek, Osama Zafar, Debargha Ganguly, Vikash Singh, Vipin Chaudhary, Erman Ayday
分类: cs.CL, cs.CR, cs.LG
发布日期: 2026-08-20
备注: 24 pages
💡 一句话要点
提出跨语言公平性审计框架以优化语言模型水印评估
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 跨语言公平性 语言模型 水印技术 评估框架 多语言处理 质量测量 结构性差异 熵分解
📋 核心要点
- 现有水印评估方法主要集中在英语文本，缺乏对多语言环境的全面考虑，导致跨语言公平性问题未被充分识别。
- 本文提出的评估框架通过经验校准检测阈值、独立测量和多种质量评估范式，系统性地解决了现有方法的局限性。
- 实验结果显示，跨语言水印公平性差异主要源于语言的结构特性，而非特定语言的个别差异，揭示了新的研究方向。
📝 摘要（中文）
现有的大型语言模型水印方案几乎仅在英语文本上进行评估，使用固定的检测阈值和有限的质量测量。然而，多语言部署揭示了在英语上无关紧要但在跨语言评估中至关重要的设计选择。本文提出了一个包含四个组成部分的评估框架：根据具体部署环境经验校准的检测阈值、一个独立于阈值的伴随测量以区分校准失败与检测失败、三种不相交的质量测量范式（分布、配对语义和参考困惑度），以及对跨语言差异的广义熵分解。该框架应用于六种水印方案、三种开放权重生成器、覆盖四种书写系统的十一种语言及基础和指令调优模式，揭示了单语言单范式评估无法发现的失败模式。
🔬 方法详解
问题定义：本文旨在解决现有水印方案在多语言环境下评估的不足，尤其是跨语言公平性的问题。现有方法往往只关注英语，忽视了其他语言的特性和需求。
核心思路：论文提出的评估框架通过引入经验校准的检测阈值和独立的质量测量，确保在多语言环境中能够准确评估水印的有效性和公平性。
技术框架：该框架包含四个主要模块：1) 经验校准的检测阈值；2) 阈值独立的伴随测量；3) 三种质量测量范式；4) 广义熵分解方法。通过这些模块，框架能够全面评估水印方案的性能。
关键创新：最重要的创新在于引入了阈值独立的伴随测量和广义熵分解方法，这些设计使得评估结果更具可靠性和可解释性，能够揭示跨语言的结构性差异。
关键设计：在参数设置上，检测阈值根据具体语言和部署环境进行经验校准，质量测量采用分布、配对语义和参考困惑度三种不同范式，以确保评估的全面性和准确性。实验中还考虑了不同书写系统和语言类型的影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，跨语言水印公平性差异主要存在于语言的类型分区之间，且在不同语言间的检测和质量评估中，发现了多种失败模式。这些发现为改进水印技术提供了新的视角和方向。
🎯 应用场景
该研究的评估框架可广泛应用于多语言环境下的语言模型水印技术，尤其适用于需要确保公平性和有效性的场景，如跨国企业的多语言客服系统、国际化的内容生成平台等。未来，该框架还可能推动其他领域的公平性研究，促进多语言技术的发展。
📄 摘要（原文）
Watermarking schemes for large language model output are evaluated almost exclusively on English text using each scheme's detection threshold and a narrow set of quality measurements. Multilingual deployment exposes evaluation-design choices that are inconsequential on English but determine conclusions cross-lingually. We propose an evaluation framework with four components: detection thresholds calibrated empirically per deployment context, a threshold-independent companion measurement that distinguishes calibration failures from detection failures, three disjoint quality measurement paradigms (distributional, paired-semantic, and reference-perplexity), and a generalized-entropy decomposition of cross-language disparity over a typological family partition. Applied to six watermarking schemes, three open-weight generators, eleven languages spanning four scripts and eight typological families, and both base and instruction-tuned regimes, the framework reveals failure modes that single-language single-paradigm evaluation cannot surface. Across detection and quality, observed disparity is predominantly between-family on the typological partition, indicating that cross-lingual fairness gaps in watermarking are structural to language properties rather than idiosyncratic to particular languages.