InterleaveThinker: Reinforcing Agentic Interleaved Generation
作者: Dian Zheng, Harry Lee, Manyuan Zhang, Kaituo Feng, Zoey Guo, Ray Zhang, Hongsheng Li
分类: cs.CV
发布日期: 2026-06-12
💡 一句话要点
提出InterleaveThinker以解决图像生成中的交错生成问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 交错生成 多代理系统 图像生成 视觉叙事 智能助手
📋 核心要点
- 现有图像生成器在交错生成方面存在显著局限，无法有效处理文本与图像的序列生成。
- 论文提出了InterleaveThinker，通过规划代理和批评代理的协作，赋予图像生成器交错生成能力。
- 实验结果显示，InterleaveThinker在交错生成基准测试中表现优异，性能可与Nano Banana和GPT-5相媲美。
📝 摘要（中文）
近年来，图像生成器在单图像生成和编辑方面展现了令人印象深刻的真实感和遵循指令的能力。然而，由于架构的限制，它们无法实现交错生成（文本-图像序列），这在视觉叙事、指导和具身操作中具有重要应用。本文介绍了InterleaveThinker，这是第一个多代理管道，旨在赋予现有图像生成器交错生成能力。我们采用规划代理来组织图像-文本输入序列，并引导图像生成器在每一步的执行。随后，引入批评代理来评估生成器的输出，识别偏离计划指令的样本，并优化指令以进行再生成。实验结果表明，InterleaveThinker在多个图像生成器上提升了性能。
🔬 方法详解
问题定义：本文旨在解决现有图像生成器在交错生成（文本-图像序列）方面的不足，尤其是其在视觉叙事和具身操作中的应用限制。现有的统一多模态模型（UMMs）在此任务上表现有限。
核心思路：InterleaveThinker通过引入多代理系统，特别是规划代理和批评代理，来优化图像生成过程。规划代理负责组织输入序列，而批评代理则评估输出并优化指令，从而实现更高效的交错生成。
技术框架：该方法的整体架构包括三个主要模块：规划代理、图像生成器和批评代理。规划代理负责输入序列的组织，图像生成器执行生成任务，批评代理则对生成结果进行评估和反馈。
关键创新：InterleaveThinker的核心创新在于其多代理协作机制，使得任何现有图像生成器都能具备交错生成能力。这一设计与传统单一生成模型的本质区别在于引入了动态反馈和指令优化机制。
关键设计：在实现过程中，构建了Interleave-Planner-SFT-80k和Interleave-Critic-SFT-112k模型以进行格式冷启动，并开发了Interleave-Critic-RL-13k以强化逐步指令修正能力。采用了准确性奖励和逐步奖励机制，以有效指导整个生成轨迹。
🖼️ 关键图片
📊 实验亮点
实验结果表明，InterleaveThinker在交错生成基准测试中表现出色，性能与Nano Banana和GPT-5相当。此外，在推理基础的基准测试中，如4步FLUX.2-klein，InterleaveThinker在WISE和RISE上也显著提升了基线模型的表现。
🎯 应用场景
InterleaveThinker的研究成果具有广泛的应用潜力，尤其在视觉叙事、智能助手和具身机器人等领域。通过提升图像生成的交互性和灵活性，该方法能够为用户提供更为丰富和直观的视觉体验，推动相关技术的发展与应用。
📄 摘要（原文）
Recent image generators have demonstrated impressive photorealism and instruction-following capabilities in single-image generation and editing. However, constrained by their architectures, they cannot achieve interleaved generation (text-image sequence), which has crucial applications in visual narratives, guidance, and embodied manipulation. Even the latest open-source Unified Multimodal Models (UMMs) exhibit limited performance in this regard. In this paper, we introduce InterleaveThinker, the first multi-agent pipeline designed to endow any existing image generator with interleaved generation capabilities. Specifically, we employ a planner agent to organize the image-text input sequence, instructing the image generator on the required execution at each step. Subsequently, we introduce a critic agent to evaluate the generator's outputs, identify samples that deviate from the planned instructions, and refine the instructions for regeneration. To implement this pipeline, we construct the Interleave-Planner-SFT-80k and Interleave-Critic-SFT-112k to perform a format cold-start. Then we develop Interleave-Critic-RL-13k to reinforce the step-wise instruction correction capability within a generation trajectory using GRPO. Since a single interleaved generation trajectory may involve over 25 generator calls, optimizing the entire trajectory is computationally impractical. Therefore, we propose accuracy reward and step-wise reward, allowing single-step RL to effectively guide the entire generation trajectory. The results show that InterleaveThinker improves performance across various image generators. On interleaved generation benchmarks, it achieves performance comparable to Nano Banana and GPT-5. Surprisingly, it also significantly enhances the base model on reasoning-based benchmarks; for example, on 4-step FLUX.2-klein, we observe substantial gains on WISE and RISE.