Semantic Steering for Controllable Generation: Tuning-Free Concept Erasure in Multimodal Diffusion Transformers
作者: Qiao Li, Xiaomeng Fu, Yuanshu Zhao, Qipeng Wang, Jiao Dai, Jizhong Han
分类: cs.CV
发布日期: 2026-08-13
备注: Accepted to ACM MM 2026
💡 一句话要点
提出无调优概念消除方法以解决多模态扩散模型的安全问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态扩散模型 概念消除 文本到图像生成 安全性 深度学习
📋 核心要点
- 现有的概念消除方法大多需要修改模型参数，难以适用于大型多模态扩散模型，存在实用性不足的问题。
- 本文提出通过直接操控模型内部表示来消除概念，利用中间块的文本条件语义表示进行有效的概念消除。
- 实验结果显示，该方法在多种MM-DiT模型上实现了最先进的消除性能，且对最终输出具有良好的控制能力。
📝 摘要（中文）
多模态扩散变换器（MM-DiTs）在文本到图像生成方面表现出色，但其生成能力也带来了安全隐患，可能生成敏感或不当内容。现有的概念消除方法大多需要修改模型参数，难以应用于大型模型。为此，本文提出通过直接操控模型内部表示来消除概念，重点分析了MM-DiT中间块的文本条件语义表示。我们从中间块提取不希望的概念和期望的安全概念的表示，构建一个引导向量，并将其注入到后续的早期和中间块。实验表明，该方法在消除多样化概念方面达到了最先进的性能，并能有效控制最终输出，且对对抗攻击具有鲁棒性。
🔬 方法详解
问题定义：本文旨在解决多模态扩散变换器（MM-DiTs）生成不当内容的安全隐患。现有的概念消除方法通常需要调整模型参数，难以在大型模型中有效实施，导致实用性不足。
核心思路：我们提出通过直接操控模型的内部表示来实现概念消除。通过分析MM-DiT的生成块，发现中间块的文本条件语义表示最为显著，因此我们从中间块提取不希望的概念和期望的安全概念的表示，构建引导向量并注入到后续块中。
技术框架：该方法的整体流程包括提取中间块的表示、构建引导向量、将该向量注入到早期和中间块。主要模块包括表示提取模块、向量构建模块和注入模块。
关键创新：本研究的创新点在于通过直接操作模型内部表示实现概念消除，而非依赖于模型参数的调整。这一方法在消除多样化概念方面表现出色，且不需要额外的训练。
关键设计：在设计中，我们专注于稀疏文本分支的标记，并利用修正流的直采样轨迹进行操作，确保了概念消除的有效性和低开销。
🖼️ 关键图片
📊 实验亮点
实验结果表明，本文方法在多种MM-DiT模型上实现了最先进的性能，成功消除了多样化的概念，并在对抗攻击下保持鲁棒性。具体而言，消除效果在不同概念上均显著优于现有方法，提升幅度达到XX%。
🎯 应用场景
该研究的潜在应用领域包括内容生成、图像合成和安全性增强等。通过有效消除不当概念，该方法可以在艺术创作、广告生成和社交媒体内容管理等场景中发挥重要作用，提升生成模型的安全性和可靠性。
📄 摘要（原文）
Multimodal Diffusion Transformers (MM-DiTs) have demonstrated remarkable text-to-image generation performance, surpassing traditional U-Net-based diffusion models. Nevertheless, their powerful generative capabilities also raise significant safety concerns, as they may generate sensitive or inappropriate content. While existing concept erasure methods aim to mitigate such risks, most require modifying model parameters, which are often architecture-specific and impractical for deployed larger models. Several tuning-free approaches face challenges when applied to advanced large-scale MM-DiTs due to their deeply embedded knowledge, broad semantic space, and context-dependent text encoders. To address these challenges, we propose to erase concepts by directly manipulating the model's internal representations. Our key insight, derived from an in-depth analysis of MM-DiT's block-wise generative roles, is that text-conditioned semantic representations are most salient in the middle blocks of MM-DiTs. Based on this, we extract representations of an unwanted concept and a desirable safe one from the middle block, construct a steering vector from their difference, and inject this single vector into consecutive early and middle blocks. By operating exclusively on the sparse text-branch tokens and leveraging the straight sampling trajectory of rectified flow, our method achieves effective concept erasure with negligible overhead and without any training. Extensive experiments across MM-DiT models demonstrate that our method achieves state-of-the-art performance in erasing diverse concepts, enables effective control over the final output, and remains robust to adversarial attacks.