When Does High-CFG Diffusion Inversion Fail? A Controlled Study of Prompt--Latent Interactions
作者: Yan Zeng, Yusuke Hosoya, Huyen T. T. Tran, Takayuki Okatani
分类: cs.CV
发布日期: 2026-07-06
💡 一句话要点
提出高-CFG扩散反演失败的控制研究以解决图像编辑问题
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)
关键词: 扩散反演 图像编辑 分类器自由引导 提示压力 轨迹一致性 去噪过程 潜在空间
📋 核心要点
- 现有的文本引导扩散反演方法在高CFG生成与低CFG反演之间存在不匹配，导致反演失败的情况。
- 论文提出了通过控制生成-反演-重建的实验设置，分析提示与潜在空间的交互，定义了提示压力来评估生成效果。
- 实验结果显示，提示压力与重建质量相关，并提出了一种轨迹一致性干预，显著改善了反演和编辑效果。
📝 摘要（中文）
文本引导的扩散反演在图像编辑中至关重要，其中图像被映射到初始潜在空间，然后通过在修改的提示下重放去噪过程进行编辑。然而，反演通常在低分类器自由引导(CFG)尺度下进行，这与生成或编辑时使用的高CFG尺度不匹配。本文研究了在高CFG轨迹生成的目标图像何时可以被反演的问题。通过控制生成-反演-重建的设置，发现了三种提示级别的重建行为，并提出了提示压力的概念来分析生成侧的表现。最后，评估了一种紧凑的轨迹一致性干预，改善了重建和提示到提示的编辑效果。
🔬 方法详解
问题定义：本文要解决的问题是高CFG轨迹生成的图像在低CFG反演时的失败现象。现有方法未能有效解释这种反演失败的原因，尤其是在不同提示与潜在空间配对时的表现差异。
核心思路：论文的核心思路是通过控制实验设置，系统地分析提示与潜在空间的交互，定义提示压力来量化CFG对去噪更新的影响，从而揭示反演成功与失败的条件。
技术框架：整体架构包括生成、反演和重建三个主要阶段。在生成阶段，使用高CFG生成图像；在反演阶段，采用固定点反演方法；最后在重建阶段，评估反演效果。
关键创新：最重要的技术创新点是定义了提示压力这一新概念，能够有效区分不同提示的重建难度，并通过局部不稳定逆步骤的干预来改善反演效果。
关键设计：在实验中，使用了固定的提示和引导设置，设计了不同的提示压力计算方法，并通过对比分析不同提示与潜在配对的成功率，揭示了影响反演效果的关键因素。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提示压力与重建质量呈正相关，能够有效区分易重建和难重建的提示。通过引入轨迹一致性干预，重建质量显著提高，支持了高CFG反演失败需要局部轨迹感知分析的观点。
🎯 应用场景
该研究的潜在应用领域包括图像编辑、计算机视觉和人工智能生成艺术等。通过改善反演过程的可靠性，能够提升图像生成和编辑的质量，推动相关技术在实际应用中的发展与普及。
📄 摘要（原文）
Text-guided diffusion inversion is central to image editing, where an image is mapped to an initial latent and then edited by replaying the denoising process under a modified prompt. In practice, however, inversion is often performed with a lower classifier-free guidance(CFG) scale than the one used for generation or editing. This mismatch is empirically useful but leaves a basic question unresolved: when a target image is generated by a high-CFG trajectory, when can that trajectory actually be inverted? We study this question in a controlled generation--inversion--reconstruction setting, where the true initial latent and denoising trajectory are known. Using prompts taken from an existing diffusion-editing benchmark, we generate images under high CFG and reconstruct them with fixed-point inversion using the same prompt and guidance setting. The results reveal three types of prompt-level reconstruction behavior: easy prompts that reconstruct for most initial latents, hard prompts that fail for most initial latents, and intermediate prompts whose success depends on the prompt--latent pairing. To analyze the generation side, we define prompt pressure, a step-wise measure of how strongly CFG moves the denoising update away from the unconditional trajectory. Total pressure correlates with reconstruction quality and separates easy from hard prompts, but it does not explain the success or failure of intermediate prompt--latent pairs. Text-side analyses further show that the main visual subject and wording can change inversion difficulty. Finally, we evaluate a compact trajectory-consistency intervention that relaxes guidance only at locally unstable inverse steps. This diagnostic check improves reconstruction and Prompt-to-Prompt editing in our controlled setting, supporting the view that high-CFG inversion failure requires local, trajectory-aware analysis.