Poly-OPD: Heterogeneous Multi-Teacher On-Policy Distillation for Capability-Selectable Flow Models
作者: Siming Fu, Haojun Xu, Ruizhe He, Zheming Fu, Hualiang Wang, Jie Huang, Xiaoxiao Ma, Mingchen Zhong, Weihu Huang, Xiaoxuan He, Linjiang Huang, Si Liu
分类: cs.CV
发布日期: 2026-08-05
💡 一句话要点
提出Poly-OPD框架以整合异构教师模型的优势
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 文本到图像生成 模型蒸馏 异构模型 深度学习 生成模型 图像处理 多模态学习
📋 核心要点
- 现有的文本到图像生成模型由于自编码器和噪声调度的差异，难以有效转移互补优势。
- Poly-OPD框架通过像素桥实现异构教师的在政策蒸馏，生成的图像经过选择的教师编码器重新编码。
- 在实验中，Poly-OPD显著提升了GenEval评分和DrawBench HPSv3，展示了其整合多模型优势的能力。
📝 摘要（中文）
现有的文本到图像生成模型通常具有互补的优势，但由于自编码器和噪声调度的差异，难以在模型间转移这些优势。本文提出了Poly-OPD框架，通过像素桥实现异构教师的在政策蒸馏，生成的图像经过选择的教师编码器重新编码，并在教师的噪声调度下进行精炼。该方法在不干扰教师能力的情况下保留互补能力，并通过梯度兼容性诊断组织适配器。实验表明，Poly-OPD在将FLUX.1-dev和Z-Image蒸馏为2.5B SD3.5-Medium学生模型时，GenEval评分从67.3提升至73.3，超越了两个更大的教师模型。
🔬 方法详解
问题定义：本文旨在解决现有文本到图像生成模型间互补优势无法有效转移的问题，主要痛点在于不同模型的自编码器和噪声调度不兼容。
核心思路：Poly-OPD框架通过在政策蒸馏中引入像素桥，允许学生模型在不同教师模型间共享知识，同时保留各自的优势。
技术框架：该框架包括多个模块：首先，生成的图像通过选择的教师编码器重新编码；其次，依据教师的噪声调度进行图像精炼；最后，在DINOv2空间中进行目标匹配，以实现跨潜在空间的监督。
关键创新：Poly-OPD的主要创新在于使用梯度兼容性诊断来组织适配器，确保在蒸馏过程中教师间的干扰最小化，同时实现了共享的注意力LoRA模块与特定的前馈适配器的结合。
关键设计：在训练过程中，采用了基于差距的课程设计，优先关注学生在某些类别上仍落后于教师的情况，随着训练的进行，逐步转向差距更大的类别。
🖼️ 关键图片
📊 实验亮点
在实验中，Poly-OPD将GenEval评分从67.3提升至73.3，超越了两个更大的教师模型，同时DrawBench HPSv3从9.34提升至11.35，显示出其在整合模型优势方面的显著效果。
🎯 应用场景
Poly-OPD框架具有广泛的应用潜力，尤其在需要结合多种生成模型优势的场景中，如艺术创作、广告设计和游戏开发等领域。通过整合不同模型的能力，能够提升生成内容的质量和多样性，未来可能推动更智能的创作工具的发展。
📄 摘要（原文）
Leading open text-to-image models often carry complementary strengths: one may lead on preference-aligned aesthetics while another follows compositional instructions more faithfully. However, differences in their autoencoders and noise schedules make it difficult to transfer these strengths across models. In this paper, we present Poly-OPD, a framework that can consolidate complementary strengths of heterogeneous teachers into a single compact flow-matching student. To bridge the incompatible latent spaces of different teachers, Poly-OPD performs on-policy distillation through a pixel bridge. Each student-generated image is re-encoded by a selected teacher's encoder and refined from a noise level matched by magnitude under the teacher's noise schedule. The resulting target is further matched to the student in frozen DINOv2 space, enabling supervision across incompatible latent spaces. To retain complementary capabilities without cross-teacher interference, Poly-OPD uses a gradient compatibility diagnostic to organize its adapters: attention LoRA modules are shared across teachers, whereas feed-forward adapters remain teacher-specific. During distillation, a gap-aware curriculum devotes more training to compositional categories where the student still falls short of the teacher. As each gap narrows, training shifts toward categories with larger remaining gaps. By distilling FLUX.1-dev and Z-Image into a 2.5B SD3.5-Medium student, Poly-OPD improves GenEval from 67.3 to 73.3, surpassing both larger teachers, and raises DrawBench HPSv3 from 9.34 to 11.35, consolidating both strengths within a switchable model.