Qwen-Image-2.0-RL Technical Report

📄 arXiv: 2606.27608v1 📥 PDF

作者: Yixian Xu, Kaiyuan Gao, Yuxiang Chen, Yilei Chen, Zecheng Tang, Zihao Liu, Zikai Zhou, Deqing Li, Hao Meng, Kuan Cao, Jiahao Li, Jie Zhang, Liang Peng, Lihan Jiang, Ningyuan Tang, Shengming Yin, Tianhe Wu, Xiaoyue Chen, Yan Shu, Yanran Zhang, Yi Wang, Yu Wu, Yujia Wu, Zekai Zhang, Zhendong Wang, Xiao Xu, Kun Yan, Chenfei Wu

分类: cs.CV, cs.LG

发布日期: 2026-06-25

备注: 16 pages, 6 figures, 1 table

💡 一句话要点

提出Qwen-Image-2.0-RL以提升图像生成与编辑质量

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像生成 图像编辑 强化学习 人类反馈 在线蒸馏 视觉质量 任务特定奖励 多模态学习

📋 核心要点

  1. 现有的图像生成和编辑模型在视觉质量和指令遵循能力上存在不足，难以满足复杂任务的需求。
  2. 本研究提出了一种基于人类反馈的强化学习框架，结合在线蒸馏技术，旨在提升模型的生成质量和编辑能力。
  3. Qwen-Image-2.0-RL在多个评估指标上均表现出显著提升，特别是在文本到图像生成和图像编辑任务中，均取得了较高的Elo评分。

📝 摘要（中文）

我们提出了Qwen-Image-2.0-RL，这是一个后训练管道，应用了基于人类反馈的强化学习（RLHF）和在线蒸馏（OPD），旨在提高Qwen-Image-2.0扩散模型的视觉质量和指令遵循能力。为提供可靠的奖励信号，我们通过微调视觉-语言模型构建了任务特定的复合奖励模型，涵盖了对齐、美学和肖像保真度等维度。实验结果表明，Qwen-Image-2.0-RL在Qwen-Image-Bench上取得了57.84的总分，相较于基础模型提升了2.61，显示出在美学质量、提示遵循和编辑准确性方面的一致性提升。

🔬 方法详解

问题定义：本论文旨在解决现有图像生成和编辑模型在视觉质量和指令遵循能力上的不足，尤其是在复杂任务中的表现不佳。现有方法往往缺乏有效的奖励信号，导致生成结果不理想。

核心思路：我们提出了一种后训练管道，结合基于人类反馈的强化学习（RLHF）和在线蒸馏（OPD），通过构建任务特定的复合奖励模型来提升模型的性能。此设计旨在通过更精确的奖励信号来引导模型学习。

技术框架：整体架构包括几个主要模块：首先是任务特定的奖励模型，通过微调视觉-语言模型获得；其次是基于GRPO的强化学习训练框架，结合混合无分类器引导策略；最后是在线蒸馏阶段，将多个教师模型整合为一个学生模型。

关键创新：本研究的主要创新在于构建了任务特定的复合奖励模型，并通过在线蒸馏技术有效整合了不同任务的学习策略。这种方法与传统的单一奖励信号设计有本质区别，能够更好地适应复杂任务的需求。

关键设计：在奖励模型的设计中，采用了点对点评分范式和链式推理，确保奖励信号的可靠性。同时，在训练过程中进行了类别奖励权重的校准和组内奖励范围过滤，以优化模型的学习效果。

📊 实验亮点

在实验中，Qwen-Image-2.0-RL在Qwen-Image-Bench上取得了57.84的总分，相比基础模型提升了2.61；在文本到图像生成领域，Elo评分达到了1193，提升了78；在图像编辑领域，Elo评分达到了1349，提升了93，显示出在美学质量和编辑准确性上的显著进步。

🎯 应用场景

该研究的潜在应用领域包括智能图像生成、图像编辑软件以及虚拟现实等场景。通过提升模型的生成质量和指令遵循能力，Qwen-Image-2.0-RL能够为用户提供更高质量的视觉内容，具有广泛的实际价值和未来影响。

📄 摘要（原文）

We present Qwen-Image-2.0-RL, a post-training pipeline that applies reinforcement learning from human feedback (RLHF) and on-policy distillation (OPD) to improve both the visual quality and instruction-following capability of the Qwen-Image-2.0 diffusion model. To provide reliable reward signals, we construct task-specific composite reward models by fine-tuning vision-language models with a pointwise scoring paradigm and chain-of-thought reasoning. For text-to-image generation, the reward models cover alignment, aesthetics, and portrait fidelity dimensions. For image editing tasks, the reward system addresses instruction-following accuracy and face identity preservation. Building on this reward system, we develop a scalable GRPO-based RL training framework, incorporating a hybrid classifier-free guidance (CFG) strategy to preserve pre-trained knowledge, prompt curation via intra-group reward range filtering, and per-category reward weight calibration. To merge the task-specialized RL policies for T2I and editing, we propose on-policy distillation as the final training stage, which consolidates multiple teachers into a single student model through trajectory-level velocity matching. Extensive evaluation shows that Qwen-Image-2.0-RL achieves 57.84 overall score on Qwen-Image-Bench (+2.61 over the base model), Elo ratings of 1193 in text-to-image arena (+78) and 1349 in image edit arena (+93), demonstrating consistent gains in aesthetic quality, prompt adherence, and editing accuracy.