Ask, Solve, Generate: Self-Evolving Unified Multimodal Understanding and Generation via Self-Consistency Rewards

📄 arXiv: 2606.27376v1 📥 PDF

作者: Ritesh Thawkar, Shravan Venkatraman, Omkar Thawakar, Abdelrahman Shaker, Fahad Khan, Hisham Cholakkal, Salman Khan, Rao Muhammad Anwer

分类: cs.CV

发布日期: 2026-06-25

💡 一句话要点

提出自演化框架以提升多模态理解与生成能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态模型 自演化训练 视觉理解 图像生成 一致性信号

📋 核心要点

  1. 现有的统一多模态模型依赖人工标注等后训练监督，限制了其自主学习能力。
  2. 提出了一种自演化训练框架，通过内部角色协作，利用未标注图像提升理解与生成能力。
  3. 在多个理解指标上取得显著提升，BAGEL模型的生成性能从82%提升至85%。

📝 摘要（中文）

大多数统一的大型多模态模型（LMM）依赖于人工标注等后训练监督来支持视觉理解和图像生成。本文提出了一种自演化训练框架，利用未标注图像自主提升这两种能力。框架包含三个内部角色：生成视觉问题的Proposer、回答和评估问题的Solver，以及合成图像的Generator。训练过程中仅使用自生成的一致性信号，且引入了解决者令牌熵（STE）作为持续的难度信号，以稳定学习。实验结果表明，该方法在八个理解指标上均优于基线模型，并在BAGEL上实现了3.5%的绝对增益。代码和模型已公开发布。

🔬 方法详解

问题定义：本文旨在解决现有统一多模态模型依赖人工标注的问题，这限制了模型的自主学习和适应能力。

核心思路：提出的自演化训练框架通过内部角色的协作，利用未标注图像生成一致性信号，提升视觉理解和图像生成的能力。

技术框架：框架包含三个主要模块：Proposer生成视觉问题，Solver回答并评估问题，Generator合成图像。训练过程中，使用自生成的一致性信号进行学习。

关键创新：引入了解决者令牌熵（STE）作为持续的难度信号，确保在样本级一致性不可靠时仍能有效学习。此外，设计了多尺度内部评估方案，增强了生成评估的可靠性。

关键设计：框架保持了角色分解、奖励逻辑和训练调度的一致性，适用于不同的基础架构（如BLIP3o、BAGEL和VARGPT-v1.1），仅需各自的原生提示和生成接口。

📊 实验亮点

实验结果显示，提出的方法在八个理解指标上均优于基线模型，特别是在BAGEL模型中，生成性能从82%提升至85%，实现了3.5%的绝对增益，证明了框架的有效性和创新性。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、自动图像生成和多模态内容创作等。通过提升模型的自主学习能力，可以在缺乏人工标注的情况下，快速适应新任务，降低人工成本，推动多模态技术的广泛应用。

📄 摘要（原文）

Most unified large multimodal models (LMMs) that support both visual understanding and image generation still rely on curated post-training supervision, such as human annotations, preference labels, or external reward models. We ask whether a unified LMM can improve both abilities autonomously using only unlabeled images. We propose a self-evolving training framework with three internal roles: a Proposer that generates visual questions, a Solver that answers and evaluates them, and a Generator that synthesizes images. Training uses only self-derived consistency signals, without human annotations, preference labels, or task-trained external reward/judge models. To stabilize learning, we introduce Solver Token Entropy (STE), a continuous difficulty signal based on token-level prediction uncertainty that remains useful even when sample-level consistency becomes unreliable. For image generation, we design a multi-scale internal evaluation scheme that combines question-answer fidelity scoring with cycle-consistent captioning. This creates a solver-mediated coupling, where better visual understanding enables more reliable generation assessment and stronger internal training signals. The framework preserves the same role decomposition, reward logic, and training schedule across diffusion-based BLIP3o, rectified-flow BAGEL, and autoregressive VARGPT-v1.1 architectures, requiring only each backbone's native prompting and generation interface. Across eight understanding metrics, our method consistently improves over the corresponding base models. On BAGEL, it achieves a $+3.5\%$ absolute gain on MMMU and improves GenEval image generation performance from $82\%$ to $85\%$. Code and models are publicly released.