Copying As Defense: Protecting Images from Editing By Eliciting Model Copying
作者: Salma Abdel Magid, Sanghyuk Chun, Eric Slyman, Kushal Kafle, Olga Russakovsky
分类: cs.CV
发布日期: 2026-10-26
💡 一句话要点
提出Copying-as-Defense以防止图像编辑攻击
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 图像编辑 防御机制 扩散变换器 注意力机制 深度学习 计算机视觉 模型复制 图像保护
📋 核心要点
- 现有的防御方法未能有效阻止基于扩散变换器的图像编辑器对参考图像的操控，导致编辑成功率较高。
- 本文提出的Copying-as-Defense方法通过增强模型对参考图像的复制能力，有效抑制了编辑行为。
- 实验结果表明，CaD将编辑成功率从81.4%降低至24.0%，相较于最强基线DeContext提升44.3%。
📝 摘要（中文）
基于扩散变换器的图像编辑器（如Flux Kontext）能够将单张照片转变为令人信服的操控图像，包括有害和非自愿的编辑。现有的主动防御方法通过在共享图像前添加不可察觉的扰动来防止此类操控。然而，这些方法往往导致模型忽视参考图像，无法有效阻止编辑。本文提出了一种相反的策略，鼓励模型复制参考图像。通过控制注意力干预，我们发现仅在早期块中集中目标令牌的注意力于参考图像即可有效抑制编辑行为。基于此，我们引入了Copying-as-Defense（CaD），显著降低了编辑成功率，并提高了优化效率。
🔬 方法详解
问题定义：本文旨在解决基于扩散变换器的图像编辑器对参考图像的操控问题。现有方法通过减少模型对参考图像的关注来防止编辑，但效果有限，导致编辑成功率仍然较高。
核心思路：本文提出的核心思路是鼓励模型复制参考图像，而非忽视它。通过在早期块中集中目标令牌的注意力于参考图像，模型更倾向于生成输入的副本，而非执行编辑指令。
技术框架：整体架构包括对扩散变换器的注意力机制进行干预，主要模块包括注意力集中机制和优化路径截断。通过调整早期块的注意力分配，模型能够更好地保留输入图像信息。
关键创新：最重要的技术创新在于提出了Copying-as-Defense（CaD）策略，通过最大化早期块的目标-参考注意力质量，显著降低了编辑成功率。这与现有方法的本质区别在于，CaD鼓励模型复制而非忽视参考图像。
关键设计：在设计中，注意力行被归一化，以增加对参考图像的关注，从而抑制对文本和生成画布的注意力分配。此外，限制优化目标于早期块也使得反向传播路径得以截断，从而降低了优化成本。
🖼️ 关键图片
📊 实验亮点
实验结果显示，CaD将未保护图像的平均编辑成功率从81.4%降低至24.0%，实现了70.6%的相对减少。同时，相较于最强基线DeContext，CaD进一步降低了44.3%的编辑成功率。此外，CaD在每次优化步骤中速度提升至1.8-2.0倍，显示出其高效性。
🎯 应用场景
该研究的潜在应用领域包括图像版权保护、社交媒体内容审核以及任何需要防止图像篡改的场景。通过有效防止非自愿编辑，CaD能够提升用户对图像真实性的信任，具有重要的社会价值和实际影响。
📄 摘要（原文）
Image editors built on diffusion transformers (DiTs), such as Flux Kontext, make it possible to turn a single photograph into a convincing manipulated image, including harmful and non-consensual edits. Proactive defenses aim to prevent such manipulations by adding an imperceptible perturbation before an image is shared. Existing defenses for DiT-based in-context editors make the output attend less to the protected reference image. But this leaves the model free to follow the edit instruction using the text and its own generated tokens, often producing a new, weakly grounded image rather than preventing the edit. We find that the opposite strategy is more effective: instead of leading the model to ignore the reference, we encourage it to copy it. Through controlled attention interventions, we show that concentrating target-token attention on the reference image in only a few early blocks is sufficient to collapse the editing behavior, causing the model to reproduce its input, often as a lossy copy, rather than execute the requested transformation. Based on this insight, we introduce Copying-as-Defense (CaD), which maximizes per-token target-to-reference attention mass in early transformer blocks. Since attention rows are normalized, increasing reference attention suppresses the attention allocated to the text and generated canvas. Restricting the objective to early blocks also lets us truncate the backpropagation path, keeping optimization cheap. Across editors and benchmarks, CaD reduces average edit success from 81.4% on unprotected images to 24.0%, a 70.6% relative reduction, and by a further 44.3% relative to DeContext, the strongest baseline (43.0%). CaD is also roughly 1.8-2.0x faster per optimization step than comparable methods.