Multi-Resolution Flow Matching: Training-Free Diffusion Acceleration via Staged Sampling
作者: Xingyu Zheng, Xianglong Liu, Yifu Ding, Weilun Feng, Junqing Lin, Jinyang Guo, Haotong Qin
分类: cs.CV
发布日期: 2026-07-02
备注: The code is available at https://github.com/Xingyu-Zheng/MrFlow
💡 一句话要点
提出MrFlow以解决文本到图像扩散加速问题
🎯 匹配领域: 支柱二:RL算法与架构 (RL & Architecture)
关键词: 文本到图像生成 多分辨率生成 加速策略 无训练方法 GAN模型
📋 核心要点
- 现有的多分辨率生成策略在上采样和区域选择性修改时,容易出现模糊和伪影,影响生成质量。
- 论文提出的MrFlow通过分阶段的低到高分辨率管道,快速生成主要结构并进行细节优化,避免了模糊问题。
- 实验结果显示,MrFlow在FLUX.1-dev和Qwen-Image数据集上实现了10倍的加速,且与加速前的OneIG差距仅为1%。
📝 摘要(中文)
硬件无关的加速文本到图像扩散策略,如时间步蒸馏和特征缓存,可以在不需要自定义内核或系统级优化的情况下减少推理时间。多分辨率生成策略最近受到广泛关注,能够在不进行任何训练的情况下实现超过5倍的加速。然而,在潜在空间中进行上采样的设计以及对部分区域的选择性修改导致这些方法出现明显的模糊或伪影。为此,我们提出了MrFlow,这是一种基于分阶段低到高分辨率管道的训练无关的多分辨率加速策略。MrFlow首先在低分辨率下快速生成主要结构,然后使用轻量级的预训练GAN模型在像素空间中进行超分辨率,随后注入低强度噪声以实现高频重采样,最后在高分辨率下细化细节。定量和定性结果表明,MrFlow利用低分辨率采样的二次令牌减少和减少的步骤需求,实现了10倍的端到端加速,同时保持OneIG与加速前的1%差距,显著超越其他训练无关的加速策略,并且完全不需要训练或运行时动态识别。MrFlow还可以与预训练的时间步蒸馏策略正交结合,实现高达25倍的生成加速。
🔬 方法详解
问题定义:现有的多分辨率生成策略在进行上采样和局部修改时,常常导致生成图像出现模糊和伪影,这影响了生成质量和效率。
核心思路:MrFlow通过分阶段的低到高分辨率生成流程,首先在低分辨率下快速构建主要结构,然后在像素空间中进行超分辨率处理,最后细化高分辨率细节,从而避免了模糊问题。
技术框架:MrFlow的整体架构包括四个主要阶段:低分辨率结构生成、像素空间超分辨率、低强度噪声注入和高分辨率细节优化。每个阶段都旨在提升生成速度和质量。
关键创新:MrFlow的核心创新在于其训练无关的设计,利用低分辨率采样的二次令牌减少和减少的步骤需求,实现了显著的加速效果,且与现有方法相比,避免了模糊和伪影的产生。
关键设计:在参数设置上,MrFlow采用轻量级的预训练GAN模型进行超分辨率处理,并通过注入低强度噪声来实现高频重采样,确保生成图像的细节丰富性。
🖼️ 关键图片
📊 实验亮点
实验结果表明,MrFlow在FLUX.1-dev和Qwen-Image数据集上实现了10倍的端到端加速,且与加速前的OneIG差距仅为1%。此外,MrFlow可以与预训练的时间步蒸馏策略结合,实现高达25倍的生成加速,显著优于其他训练无关的加速策略。
🎯 应用场景
MrFlow的研究成果在文本到图像生成领域具有广泛的应用潜力,能够显著提升生成效率和质量,适用于艺术创作、广告设计、虚拟现实等多个领域。未来,该方法还可能与其他加速策略结合,进一步推动生成模型的应用发展。
📄 摘要(原文)
Hardware-agnostic strategies for accelerating text-to-image diffusion, such as timestep distillation and feature caching, can reduce inference time without custom kernels or system-level optimization. Among them, multi-resolution generation strategies have recently received broad attention, attaining more than 5x speedup without any training. However, the design of performing upsampling in the latent space, together with the selective modification of partial regions, causes these methods to exhibit noticeable blurring or artifacts. To this end, we propose MrFlow, a training-free multi-resolution acceleration strategy for pretrained flow-matching models built upon a staged low-to-high-resolution pipeline. MrFlow first rapidly generates the main structure at low resolution, then performs super-resolution in the pixel space using a lightweight pretrained GAN-based model, subsequently injects low-strength noise to enable high-frequency resampling, and finally refines the details at high resolution. Quantitative and qualitative results on FLUX.1-dev and Qwen-Image show that MrFlow exploits the quadratic token reduction and reduced step requirement of low-resolution sampling to achieve 10x end-to-end acceleration while keeping OneIG within a 1% gap relative to that before acceleration, significantly surpassing other training-free acceleration strategies, and requiring no training or runtime dynamic identification whatsoever. MrFlow can further be directly combined orthogonally with pre-trained timestep distillation strategies, achieving even higher generation acceleration of up to 25x.