CPAM: Context-Preserving Adaptive Manipulation for Zero-Shot Real Image Editing

📄 arXiv: 2506.18438 📥 PDF

作者: Dinh-Khoi Vo, Thanh-Toan Do, Tam V. Nguyen, Minh-Triet Tran, Trung-Nghia Le

分类: cs.CV

发布日期: 2026-06-12

💡 一句话要点

提出CPAM以解决复杂非刚性真实图像编辑问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 图像编辑 文本到图像 自适应操作 上下文保持 非刚性物体 扩散模型 深度学习

📋 核心要点

  1. 现有图像编辑方法在处理复杂非刚性物体时，难以保持纹理和身份，且常需大量微调。
  2. 本文提出的CPAM框架通过保持适应模块和局部提取模块，有效控制物体与背景的独立性。
  3. 在新构建的图像编辑基准数据集IMBA上，CPAM在用户评估中表现优于现有最先进技术。

📝 摘要（中文）

使用文本描述对自然图像进行编辑在文本到图像扩散模型中仍然是一个重大挑战，尤其是在实现一致生成和处理复杂非刚性物体方面。现有方法往往难以保持纹理和身份，需进行大量微调，并在编辑特定空间区域或物体时难以保留背景细节。本文提出了上下文保持自适应操作（CPAM），一种新颖的零-shot框架，专注于复杂非刚性真实图像编辑。我们提出了一种保持适应模块，调整自注意力机制，有效地保持和独立控制物体和背景，确保在编辑过程中物体的形状、纹理和身份得以保持，同时背景不失真。此外，我们开发了局部提取模块，以减少在交叉注意力机制中对不希望修改区域的干扰。CPAM可与多种扩散骨干网络无缝集成，展示出在不同模型架构中的强泛化能力。

🔬 方法详解

问题定义：本文旨在解决在复杂非刚性真实图像编辑中，现有方法无法有效保持物体纹理和身份的问题。现有技术在编辑特定区域时，常常导致背景失真或物体特征丢失。

核心思路：CPAM通过引入保持适应模块，调整自注意力机制，使得物体和背景能够独立控制，从而在编辑过程中保持物体的形状、纹理和身份，同时不影响背景。

技术框架：CPAM的整体架构包括保持适应模块和局部提取模块。保持适应模块用于调整自注意力机制，而局部提取模块则用于减少对不希望修改区域的干扰。

关键创新：CPAM的主要创新在于其上下文保持能力，通过自适应调整实现物体与背景的独立控制，这与现有方法的整体编辑方式形成了本质区别。

关键设计：在设计中，CPAM采用了多种掩码引导策略，以简化图像操作任务，并确保在不同扩散骨干网络中具有良好的兼容性。

📊 实验亮点

在IMBA基准数据集上的实验结果显示，CPAM在用户评估中优于现有最先进的编辑技术，表现出显著的性能提升，具体提升幅度未明确给出，但用户偏好明显。

🎯 应用场景

CPAM的潜在应用领域包括图像编辑、虚拟现实和增强现实等场景，能够为用户提供更高质量的图像处理体验。其创新的上下文保持机制将推动图像编辑技术的发展，提升用户在多种应用中的交互性和创造性。

📄 摘要（原文）

Editing natural images using textual descriptions in text-to-image diffusion models remains a significant challenge, particularly in achieving consistent generation and handling complex, non-rigid objects. Existing methods often struggle to preserve textures and identity, require extensive fine-tuning, and exhibit limitations in editing specific spatial regions or objects while retaining background details. This paper proposes Context-Preserving Adaptive Manipulation (CPAM), a novel zero-shot framework for complicated, non-rigid real image editing. Specifically, we propose a preservation adaptation module that adjusts self-attention mechanisms to preserve and independently control the object and background effectively. This ensures that the objects' shapes, textures, and identities are maintained while keeping the background undistorted during the editing process using the mask guidance technique. Additionally, we develop a localized extraction module to mitigate the interference with the non-desired modified regions during conditioning in cross-attention mechanisms. We also introduce various mask-guidance strategies to facilitate diverse image manipulation tasks in a simple manner. CPAM can be seamlessly integrated with multiple diffusion backbones, including SD1.5, SD2.1, and SDXL, demonstrating strong generalization across different model architectures. Extensive experiments on our newly constructed Image Manipulation BenchmArk (IMBA), a robust benchmark dataset specifically designed for real image editing, demonstrate that our proposed method is the preferred choice among human raters, outperforming existing state-of-the-art editing techniques. The source code and data will be publicly released at the project page:this https URL