InterleaveThinker: Reinforcing Agentic Interleaved Generation
作者: Dian Zheng, Harry Lee, Manyuan Zhang, Kaituo Feng, Zoey Guo, Ray Zhang, Hongsheng Li
分类: cs.CV
发布日期: 2026-06-11 (更新: 2026-06-12)
备注: Project Page: https://zhengdian1.github.io/InterleaveThinker-proj/ Code: https://github.com/zhengdian1/InterleaveThinker
💡 一句话要点
提出InterleaveThinker以解决图像生成中的交错生成问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 交错生成 多代理系统 图像生成 强化学习 视觉叙事
📋 核心要点
- 现有图像生成器在交错生成方面存在显著不足，无法满足视觉叙事和指导等应用需求。
- 论文提出InterleaveThinker，通过规划代理和批评代理的协作，赋予现有生成器交错生成能力。
- 实验结果显示，InterleaveThinker在交错生成基准测试中表现优异，且在推理基准上也有显著提升。
📝 摘要（中文）
近年来，图像生成器在单图像生成和编辑方面展现了令人印象深刻的照片真实感和指令跟随能力。然而，由于架构的限制，它们无法实现交错生成（文本-图像序列），这在视觉叙事、指导和具身操作中具有重要应用。本文提出了InterleaveThinker，这是第一个旨在赋予现有图像生成器交错生成能力的多代理管道。我们使用规划代理组织图像-文本输入序列，并引导图像生成器在每一步的执行。随后引入批评代理评估生成器的输出，识别偏离计划指令的样本，并优化指令以进行再生成。实验结果表明，InterleaveThinker在多个图像生成器上提升了性能。它在交错生成基准测试中表现出与Nano Banana和GPT-5相当的性能，并显著提高了基础模型在推理基准上的表现。
🔬 方法详解
问题定义：本文旨在解决现有图像生成器无法实现交错生成的问题，现有的统一多模态模型在此方面表现有限，无法满足复杂的视觉叙事需求。
核心思路：InterleaveThinker通过引入规划代理和批评代理，组织和优化图像-文本输入序列，逐步指导生成器的输出，确保生成结果符合预期指令。
技术框架：该方法包括三个主要模块：规划代理负责输入序列的组织，批评代理评估生成结果并优化指令，最后通过强化学习进一步提升指令修正能力。
关键创新：InterleaveThinker的核心创新在于引入多代理协作机制，使得任何现有图像生成器都能实现交错生成，这在现有方法中是前所未有的。
关键设计：在实现过程中，构建了Interleave-Planner-SFT-80k和Interleave-Critic-SFT-112k进行格式冷启动，并通过Interleave-Critic-RL-13k强化逐步指令修正能力，采用准确性奖励和逐步奖励来优化生成轨迹。
🖼️ 关键图片
📊 实验亮点
实验结果表明，InterleaveThinker在交错生成基准测试中表现出色，达到了与Nano Banana和GPT-5相当的性能。此外，在推理基准测试中，特别是在4步FLUX.2-klein上，WISE和RISE的表现也显著提升，显示出该方法的广泛适用性和有效性。
🎯 应用场景
InterleaveThinker的研究成果在多个领域具有广泛的应用潜力，包括视觉叙事、智能助手、教育工具等。通过实现交错生成，该方法能够提升用户与生成系统的交互体验，促进更复杂的任务执行和信息传递。未来，随着技术的进一步发展，InterleaveThinker可能在机器人操作和虚拟现实等领域发挥更大作用。
📄 摘要（原文）
Recent image generators have demonstrated impressive photorealism and instruction-following capabilities in single-image generation and editing. However, constrained by their architectures, they cannot achieve interleaved generation (text-image sequence), which has crucial applications in visual narratives, guidance, and embodied manipulation. Even the latest open-source Unified Multimodal Models (UMMs) exhibit limited performance in this regard. In this paper, we introduce InterleaveThinker, the first multi-agent pipeline designed to endow any existing image generator with interleaved generation capabilities. Specifically, we employ a planner agent to organize the image-text input sequence, instructing the image generator on the required execution at each step. Subsequently, we introduce a critic agent to evaluate the generator's outputs, identify samples that deviate from the planned instructions, and refine the instructions for regeneration. To implement this pipeline, we construct the Interleave-Planner-SFT-80k and Interleave-Critic-SFT-112k to perform a format cold-start. Then we develop Interleave-Critic-RL-13k to reinforce the step-wise instruction correction capability within a generation trajectory using GRPO. Since a single interleaved generation trajectory may involve over 25 generator calls, optimizing the entire trajectory is computationally impractical. Therefore, we propose accuracy reward and step-wise reward, allowing single-step RL to effectively guide the entire generation trajectory. The results show that InterleaveThinker improves performance across various image generators. On interleaved generation benchmarks, it achieves performance comparable to Nano Banana and GPT-5. Surprisingly, it also significantly enhances the base model on reasoning-based benchmarks; for example, on 4-step FLUX.2-klein, we observe substantial gains on WISE and RISE.