StepX-OPD: Rethinking Multi-Teacher On-Policy Distillation in Diffusion Models
作者: Chenru Wang, Xuanyang Zhang, Yucheng Han, Wenbo Nie, Wei Cheng, Xianfang Zeng, Gang YU, Chi Zhang
分类: cs.CV
发布日期: 2026-11-03
💡 一句话要点
提出StepX-OPD以解决多教师策略蒸馏在扩散模型中的效率问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 扩散模型 多教师蒸馏 少步采样 文本到图像 模型压缩 人类偏好 指令遵循 图像质量
📋 核心要点
- 现有的多教师策略蒸馏方法在扩散模型中存在效率低下的问题，导致模型压缩后性能下降。
- StepX-OPD通过将能力整合与少步采样学习合并为一个阶段，使得学生模型在学习过程中能够获得所有能力。
- 在SD3.5-Medium和FLUX.1-dev上，StepX-OPD在多个指标上取得了最高的归一化平均分，并减少了约37%的GPU小时数。
📝 摘要（中文）
可部署的文本到图像扩散模型需要同时具备多种能力，如遵循指令、文本渲染和人类偏好，并且需在少量步骤内进行采样。现有方法将能力构建和少步采样分为两个阶段，导致每个全步模型在压缩后得分降低，且第二阶段无法在第一阶段完成前开始。本文提出StepX-OPD，将两个阶段合并为一个学生模型，使其在学习少步采样的同时获得所有能力，利用冻结的专家在其自身的回滚状态上进行监督。实验结果表明，StepX-OPD在多个指标上超越了现有方法，并显著减少了训练所需的GPU时间。
🔬 方法详解
问题定义：本文旨在解决现有多教师策略蒸馏方法在扩散模型中效率低下的问题。现有方法将能力构建和少步采样分为两个阶段，导致模型压缩后性能下降，且第二阶段无法在第一阶段完成前开始。
核心思路：StepX-OPD通过合并两个阶段，使得一个学生模型在学习少步采样的同时获得所有能力。冻结的专家在学生模型的回滚状态上进行监督，而不是在其未运行的长轨迹上进行监督。
技术框架：整体架构包括一个学生模型和多个冻结的专家模型。学生模型在学习过程中逐步获得能力，并在低噪声部分回滚时回归速度，以减少KL权重的速度不匹配。
关键创新：最重要的创新在于将能力整合与少步采样学习合并为一个阶段，显著提高了模型的训练效率和性能。与现有方法相比，StepX-OPD在多个指标上表现更优。
关键设计：在设计中，关键参数包括冻结专家的选择和监督方式，以及损失函数的设计，特别是在低噪声部分的速度回归，以优化模型的学习过程。
🖼️ 关键图片
📊 实验亮点
实验结果显示，StepX-OPD在SD3.5-Medium和FLUX.1-dev上取得了最高的归一化平均分，超越了四步方法的基线，并在性能上超过了四十步的Flow-OPD模型。此外，StepX-OPD在SD3.5-Medium上训练所需的GPU小时数减少了约37%。
🎯 应用场景
该研究的潜在应用领域包括文本到图像生成、智能图像编辑和人机交互等。通过提高扩散模型的效率和性能，StepX-OPD能够在实际应用中提供更高质量的生成结果，满足用户的多样化需求，未来可能在创意产业和自动化设计中发挥重要作用。
📄 摘要（原文）
A deployable text-to-image diffusion model must hold several capabilities at once, such as instruction following, text rendering and human preference, and must sample in a few steps. Capabilities and few-step sampling are built in separate stages: a full-step model first consolidates capabilities through multi-teacher on-policy distillation, then serves as a fixed teacher for step distillation. Every full-step model we evaluate scores lower once compressed, and the second stage cannot begin until the first finishes. We introduce StepX-OPD, which merges the two stages: one student acquires every capability while learning to sample in a few steps, so frozen specialists supervise it on the states its own rollout visits rather than on a longer trajectory it never runs. Because a decomposition of the rollout's KL weights velocity mismatch most heavily near the clean end, we also regress the student's velocity on the low-noise part of the rollout. Separately, we find that capability integration makes models write prompt words into images on prompts that never asked for text, and we give a variant that lowers it. We evaluate on SD3.5-Medium and FLUX.1-dev across instruction following, text rendering, image quality and human preference. On both architectures, StepX-OPD attains the highest normalized average score among the four-step methods compared and exceeds the forty-step Flow-OPD model, and on SD3.5-Medium it trains with about 37% fewer GPU-hours than sequential DiffusionOPD followed by step distillation.