Look But Don't Touch with Sparse Autoencoders for Unlearning in Diffusion Models
作者: Enrico Cassano, Riccardo Renzulli, Rayyan Ahmed, Marco Grangetto, Stephan Alaniz
分类: cs.CV, cs.AI
发布日期: 2026-06-30
💡 一句话要点
提出稀疏自编码器以解决扩散模型中的概念干预问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 稀疏自编码器 扩散模型 概念干预 图像生成 语义检测 对象擦除 可解释性工具
📋 核心要点
- 现有方法在扩散模型中直接干预潜在空间时，常导致视觉伪影和不一致的激活结果。
- 本文提出使用稀疏自编码器作为语义检测器，识别目标对象区域并进行基于检测的替换，以避免直接干预带来的问题。
- 实验结果表明，基于检测的替换方法在擦除效果上显著优于传统的潜在空间引导，生成的图像更为清晰。
📝 摘要（中文）
稀疏自编码器（SAEs）被提出作为可解释的工具，用于概念级别的操控，假设孤立特征可以作为可控干预点。本文系统评估了这一假设在扩散模型中的对象擦除和引导任务中的有效性。研究表明，虽然SAEs能够可靠地检测和定位扩散模型激活中的语义概念，但在其潜在空间中直接干预常常会导致分布外激活，产生严重的视觉伪影。为了解耦检测与干预，本文使用SAE激活作为语义检测器，识别包含目标对象的图像区域，并用不包含该对象的补丁嵌入替换。这种基于检测的替换保留了扩散模型的激活统计，产生了显著更清晰的擦除结果。研究揭示了扩散模型中概念检测与干预之间的根本差距：单语义或稀疏特征并不总是适合作为控制旋钮。该研究为生成模型的分析提供了强大的可解释性工具，但在直接操控方面存在重要局限。
🔬 方法详解
问题定义：本文旨在解决在扩散模型中进行对象擦除和引导时，直接干预潜在空间导致的视觉伪影和不一致性问题。现有方法在这一过程中表现不佳，无法有效实现预期的概念操控。
核心思路：论文的核心思路是将稀疏自编码器（SAEs）作为语义检测工具，而非直接干预的控制旋钮。通过识别目标对象的图像区域并进行替换，避免了潜在空间的直接干预带来的问题。
技术框架：整体架构包括SAE的训练与激活阶段，首先通过SAE检测目标对象区域，然后用不包含该对象的补丁嵌入进行替换，最后生成新的图像。
关键创新：最重要的技术创新在于将SAEs用于语义检测而非干预，揭示了概念检测与干预之间的根本差距，强调了稀疏特征在控制上的局限性。
关键设计：在参数设置上，SAE的训练采用了特定的损失函数以优化语义检测能力，网络结构设计上注重特征的稀疏性和可解释性，以便于后续的图像区域替换。
🖼️ 关键图片
📊 实验亮点
实验结果显示，基于检测的替换方法在对象擦除任务中显著优于传统潜在空间引导方法，生成的图像质量更高，视觉伪影减少，提升幅度达到XX%（具体数据需根据实验结果填写）。
🎯 应用场景
该研究的潜在应用领域包括图像生成、内容编辑和隐私保护等。通过改进的对象擦除技术，可以在生成模型中实现更高效的内容操控，具有重要的实际价值和广泛的应用前景，尤其是在需要对生成内容进行精细化控制的场景中。
📄 摘要（原文）
Sparse autoencoders (SAEs) have recently been proposed as interpretable tools for concept-level manipulation, under the assumption that isolated features can serve as controllable intervention points. In this work, we systematically evaluate this assumption in the context of object erasure and steering in diffusion models. We show that while SAEs reliably detect and localize semantic concepts within diffusion model activations, direct intervention in their latent space frequently induces out-of-distribution activations, resulting in severe visual artifacts. To disentangle detection from intervention, we use SAE activations purely as semantic detectors to identify image regions containing the target object, and replace those patch embeddings with the ones that do not contain it. This detection-based replacement preserves the diffusion model's activation statistics and produces significantly cleaner erasure results than latent steering. Our findings reveal a fundamental gap between concept detection and concept intervention in diffusion models: monosemantic or sparse features are not inherently suitable as control knobs for steering. These results position SAEs as powerful interpretability tools for analyzing generative models, but highlight important limitations when used for direct manipulation, such as unlearning.