Latent Reasoning in Continuous Space for Unified Multimodal Models

📄 arXiv: 2610.42149v1 📥 PDF

作者: Byungwoo Jeon, Yoonwoo Jeong, Hyunseok Lee, Minsu Cho, Jinwoo Shin

分类: cs.CV, cs.CL, cs.LG

发布日期: 2026-10-30

备注: Published as conference proceeding for NeurIPS 2026. Last two authors advised equally

💡 一句话要点

提出LARC框架以解决多模态模型推理与生成的矛盾问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态模型 潜在推理 图像生成 强化学习 课程微调 生成质量 信息增益 连续空间

📋 核心要点

  1. 现有的多模态模型在图像生成中无法有效利用语言推理，导致生成质量和可控性不足。
  2. 本文提出LARC框架，通过在连续空间中进行潜在推理，解决了推理与生成之间的模态不匹配问题。
  3. 实验结果显示，LARC在多个基准测试中显著提升了生成质量，并在GenEval上超越了现有最佳模型。

📝 摘要（中文）

统一多模态模型（UMMs）在多模态理解和生成任务中取得了显著成功，但在图像生成中有效利用基于语言的推理能力方面仍面临挑战。现有的推理增强UMMs常常无法继承大型语言模型在测试时的扩展性和细粒度可控性。本文提出了一种在连续空间中进行潜在推理的框架（LARC），通过在连续隐藏状态上进行推理来缓解基于标记的瓶颈。该训练框架包括两个阶段：课程监督微调（SFT）和信息增益强化学习（RL）。实验表明，LARC在文本到图像生成基准测试中持续提高生成质量、提示遵循性和组合保真度，并在GenEval上实现了7%的性能提升，展现出明显的测试时扩展行为。

🔬 方法详解

问题定义：本文旨在解决统一多模态模型在图像生成中无法有效利用语言推理的问题。现有方法在推理时依赖离散的标记空间，而图像生成则在连续空间中进行，这导致了模态不匹配的瓶颈。

核心思路：论文提出的LARC框架通过在连续隐藏状态上进行推理，消除了基于标记的限制。该方法通过将推理过程从离散转变为连续，增强了模型在生成任务中的表现。

技术框架：LARC的训练框架分为两个阶段：第一阶段是课程监督微调（SFT），逐步将标记级推理转化为潜在推理；第二阶段是信息增益强化学习（RL），在没有真实标签的情况下自我演化潜在推理。

关键创新：LARC的核心创新在于其在连续空间中进行潜在推理的能力，这与传统的基于标记的推理方法有本质区别，从而提升了生成模型的灵活性和可控性。

关键设计：在训练过程中，课程SFT阶段采用逐步引导的方式进行微调，而信息增益RL阶段则通过自我学习来优化推理过程，具体的损失函数和网络结构设计尚未详细披露。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LARC在多个文本到图像生成基准测试中表现出色，尤其在GenEval上实现了7%的性能提升，超越了现有的最佳模型BAGEL。此外，LARC展现出明显的测试时扩展能力，在并行和顺序测试时均优于基于标记的生成方法。

🎯 应用场景

该研究的潜在应用领域包括图像生成、文本到图像的转换、以及多模态内容创作等。通过提升生成质量和可控性，LARC框架能够在艺术创作、广告设计和虚拟现实等领域发挥重要作用，未来可能推动多模态生成技术的广泛应用。

📄 摘要（原文）

Unified Multimodal Models (UMMs) achieve remarkable success on diverse multimodal understanding and generation tasks, yet they still struggle to effectively leverage language-based chain-of-thought reasoning for image generation. As a result, existing reasoning-augmented UMMs often fail to inherit the test-time scaling and fine-grained controllability observed in large language models. We attribute this failure to a fundamental modality mismatch: reasoning is performed in a discrete token space, whereas image generation operates in a continuous space. To bridge this gap, we introduce a Latent Reasoning framework in Continuous space (LARC), which alleviates the token-level bottleneck by reasoning over continuous hidden states. Specifically, the training framework consists of two stages: (i) curriculum supervised fine-tuning (SFT), and (ii) information-gain reinforcement learning (RL). First, the curriculum SFT stage gradually converts token-level reasoning into latent reasoning. Subsequently, the information-gain RL stage self-evolves latent reasoning without ground truth supervision. Experiments across diverse text-to-image generation benchmarks show that LARC consistently improves generation quality, prompt following, and compositional fidelity. Notably, LARC achieves state-of-the-art performance on GenEval with a 7%p gain over BAGEL and demonstrates clear test-time scaling behavior, outperforming token-based generation under both parallel and sequential test-time scaling strategies.