IV-CoT: Implicit Visual Chain-of-Thought for Structure-Aware Text-to-Image Generation

📄 arXiv: 2606.24849v1 📥 PDF

作者: Zixuan Li, Haokun Lin, Yicheng Xiao, Zhiwei Li, Xinyang Song, Zelong Zheng, Yong He, Heng Yao, Ke Ding, Chao Yu, Chuan Yuan, Qi Li, Zhenan Sun

分类: cs.CV, cs.AI

发布日期: 2026-06-23

💡 一句话要点

提出IV-CoT以解决结构感知文本到图像生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本到图像生成 多模态学习 隐式推理 结构感知 视觉计划

📋 核心要点

  1. 现有的多模态大型语言模型在结构感知文本到图像生成中存在物体数量和空间关系保持不佳的问题。
  2. 论文提出了隐式视觉思维链（IV-CoT），通过将视觉条件查询分解为结构和语义两个阶段来解决上述问题。
  3. IV-CoT在GenEval和T2I-CompBench上表现优异，展示了结构和语义查询的互补作用。

📝 摘要（中文）

统一的多模态大型语言模型（MLLMs）在文本到图像生成方面取得了良好的效果，但在结构感知提示的遵循上仍存在困难，尤其是在物体数量、空间关系、属性绑定和粗略布局的保持方面。我们认为这种局限性部分源于结构规划和外观渲染在单一条件流中的纠缠。为了解决这一问题，我们提出了隐式视觉思维链（IV-CoT），这是一种用于查询条件图像生成的潜在视觉推理框架。IV-CoT将视觉条件查询分解为结构到语义的级联，其中结构查询首先形成潜在的视觉计划，然后语义查询根据该计划渲染外观。我们引入了仅在训练时使用的草图监督，以指导结构查询捕捉草图中的结构，而无需在推理时进行草图提取或中间解码。IV-CoT在单次前向传递中执行隐式思维链推理，并在GenEval和T2I-CompBench上取得了优越的结果。可视化和分析表明，学习到的结构和语义查询在结构感知生成中发挥了互补作用。

🔬 方法详解

问题定义：本论文旨在解决现有多模态大型语言模型在结构感知文本到图像生成中的不足，特别是在物体数量、空间关系和属性绑定的保持方面。现有方法在结构规划和外观渲染的纠缠使得生成质量受限。

核心思路：论文提出的IV-CoT框架通过将视觉条件查询分解为结构查询和语义查询两个阶段，先形成潜在的视觉计划，再进行外观渲染，从而有效地解决了结构与外观之间的纠缠问题。

技术框架：IV-CoT的整体架构包括两个主要模块：首先，结构查询生成潜在的视觉计划；其次，语义查询根据该计划进行外观渲染。此外，论文引入了草图监督以指导结构查询的训练。

关键创新：IV-CoT的核心创新在于引入了隐式思维链推理机制，使得结构和语义查询能够在单次前向传递中协同工作，从而提升生成质量。这一方法与现有方法的本质区别在于其将结构与外观的处理分开。

关键设计：在训练过程中，采用了草图监督来引导结构查询的学习，避免了推理时的草图提取或中间解码。此外，论文中还详细描述了损失函数的设计和网络结构的选择，以确保生成结果的质量和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

IV-CoT在GenEval和T2I-CompBench上取得了显著的性能提升，具体表现为生成质量的提高，尤其在结构感知方面的表现优于现有基线方法，展示了结构和语义查询的互补作用。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、艺术创作、游戏设计和虚拟现实等。通过提高文本到图像生成的结构感知能力，IV-CoT可以为创意产业提供更高质量的生成工具，促进人机协作的创新应用。未来，该技术可能在自动化设计、个性化内容生成等方面发挥重要作用。

📄 摘要（原文）

Unified multi-modal large language models (MLLMs) have achieved strong text-to-image generation quality, but still struggle with structure-aware prompt following, where object counts, spatial relations, attribute bindings, and coarse layouts must be preserved. We attribute this limitation in part to the entanglement of structural planning and appearance rendering within a single conditioning stream. To address this issue, we propose Implicit Visual Chain-of-Thought (IV-CoT), a latent visual reasoning framework for query-conditioned image generation. IV-CoT decomposes the visual conditioning queries into a structural-to-semantic cascade, where structural queries first form a latent visual plan and semantic queries then render appearance conditioned on this plan. To guide the structural queries, we introduce training-only sketch supervision, which encourages them to capture structure from sketches without requiring sketch extraction or intermediate decoding at inference time. IV-CoT performs implicit CoT reasoning in a single forward pass and achieves superior results on GenEval and T2I-CompBench. Visualizations and analyses demonstrate that the learned structural and semantic queries play complementary roles in structure-aware generation.