CopyShield: A Cross-Level Benchmark of Copyright Defenses in LLMs

📄 arXiv: 2609.01161v1 📥 PDF

作者: Maryam Alshehyari, Dushyant Singh Chauhan, Samuele Poppi, Martin Takac, Salem Lahlou, Nils Lukas

分类: cs.LG

发布日期: 2026-09-01

🔗 代码/项目: GITHUB

💡 一句话要点

提出CopyShield以解决大语言模型版权防御评估不一致问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 版权防御 大语言模型 对比解码 直接偏好优化 激活干预 非字面泄露 效用评估

📋 核心要点

  1. 现有的版权防御评估方法存在不兼容性，导致对大语言模型的保护效果难以比较。
  2. 论文提出CopyShield基准，通过对比解码、直接偏好优化和激活干预三种方法在不同层次的表现，提供系统化评估。
  3. 实验结果显示，激活干预在非字面查询的标记率上表现最佳，而直接偏好优化在字面泄露方面几乎消除了风险。

📝 摘要（中文）

大语言模型能够逐字复现记忆文本，但现有的版权防御评估通常在不兼容的协议下进行。我们引入了CopyShield，一个受控基准，比较三种代表性防御在不同干预层次的效果：对比解码（输出层）、直接偏好优化（行为层）和激活干预（表示层）。我们在LLaMA-3.1-8B和Mistral-7B-v0.3两种模型上评估CopyShield，使用五本公共领域书籍进行控制记忆，并采用共享协议测量字面泄露、校准的非字面泄露、效用和退化。结果表明，干预层次与合规性-效用权衡存在明显关联。

🔬 方法详解

问题定义：本研究旨在解决大语言模型在版权防御评估中的不一致性问题。现有方法在评估时缺乏统一的协议，导致不同防御策略的效果难以比较。

核心思路：论文提出了CopyShield基准，通过在不同干预层次（输出、行为、表示）上比较三种防御策略，系统性地评估其效果与权衡。

技术框架：CopyShield的整体架构包括三个主要模块：对比解码、直接偏好优化和激活干预。每个模块在特定层次上进行干预，以评估其对版权防御的影响。

关键创新：最重要的创新在于提供了跨层次的参考基准，明确了不同干预层次与合规性-效用之间的权衡关系，尤其是针对非字面泄露的抑制策略。

关键设计：在实验中，直接偏好优化几乎消除了字面泄露，但在58%的问答输出中引入了退化；激活干预则通过阻止84%的非字面查询生成，达到了最低的非字面标记率（1/200）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在LLaMA-3.1-8B模型上，对比解码的字面泄露率为0.192-0.203，而直接偏好优化将其降至0.002，但引入了58%的退化现象。激活干预在非字面查询的标记率上表现最佳，仅为1/200，显示出其在版权防御中的有效性。

🎯 应用场景

该研究的潜在应用领域包括法律文本生成、内容创作和知识产权保护等。通过优化大语言模型的版权防御能力，能够有效降低版权风险，提升模型在商业应用中的安全性和可靠性。未来，随着模型的不断发展，相关的防御机制也将更加完善。

📄 摘要（原文）

Large language models can reproduce memorized text verbatim, yet copyright defenses are usually evaluated under incompatible protocols. We introduce CopyShield, a controlled benchmark comparing three representative defenses at distinct intervention levels: contrastive decoding (output), Direct Preference Optimization (behavioral), and activation intervention (representation). We evaluate CopyShield on two model families, LLaMA-3.1-8B and Mistral-7B-v0.3, using controlled memorization over five public-domain books and a shared protocol measuring literal leakage, calibrated non-literal leakage, utility, and degeneracy. Across these methods, intervention level is associated with distinct compliance-utility trade-offs. On LLaMA-3.1-8B, contrastive decoding remains near-degeneracy-free (0-2%) but reaches a literal-suppression floor at NV-Recall 0.192-0.203. DPO nearly eliminates literal leakage (0.263 to 0.002) but induces paraphrase-loop degeneracy in 58% of QA outputs, with no utility gain over the SFT baseline. Activation intervention attains the lowest non-literal flagging rate (1/200) by blocking 84% of non-literal queries before generation. Human evaluation confirms that DPO has low coherence, whereas activation lowers perceived copyright risk through broad refusal. On Mistral-7B-v0.3, the output- and representation-level patterns persist, while DPO degeneracy falls to 10-14%, showing that its severity is model-dependent. Together, CopyShield provides cross-level reference baselines and identifies targeted non-literal suppression as an open challenge. The code is available at https://github.com/spotai-mbzuai/CopyShield.git.