PATTS: Parallel-Aware Test-Time Scaling for Thought-Image Generation in Multimodal Discrete Diffusion LLMs

📄 arXiv: 2611.04948v1 📥 PDF

作者: Yasong Dai, Zeeshan Hayder, David Ahmedt-Aristizabal, Hongdong Li

分类: cs.CV

发布日期: 2026-11-03

备注: Accepted in WACV 2027

🔗 代码/项目: GITHUB

💡 一句话要点

提出PATTS以解决多模态离散扩散模型中的图像生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态生成 离散扩散模型 测试时间缩放 图像生成 跨模态验证

📋 核心要点

  1. 现有图像生成方法在最终图像选择上存在局限，导致生成质量不高。
  2. 提出PATTS框架，通过跨模态验证信号优化思维-图像状态的选择，提高生成质量。
  3. 在MMaDA-Parallel数据集上，PATTS的GenEval评分达到0.844，显著提升了生成效果。

📝 摘要（中文）

测试时间缩放（TTS）通过在采样、搜索和验证中分配额外的推理时间计算来改善生成模型。然而，现有的图像生成方法通常仅对完成的图像或图像中心的中间状态进行排名。本文研究了在并行多模态离散扩散语言模型中应用TTS的方法，其中推理令牌和图像令牌在单一生成轨迹中共同解码。我们首先诊断了传统最终图像选择的局限性：在GenEval上，CLIP风格的图像提示评分与提示内组合正确性弱相关，导致验证器选择与oracle选择之间存在显著差距。为此，我们提出了PATTS，一个新颖的并行感知TTS框架，通过跨模态验证信号搜索中间思维-图像状态。实验结果表明，PATTS在MMaDA-Parallel的固定N=32评估中达到了0.844的GenEval评分，显著优于不使用TTS的0.628、Best-of-N的0.787和FKD的0.810。

🔬 方法详解

问题定义：本文旨在解决现有多模态离散扩散模型在图像生成中的最终图像选择问题，传统方法在生成质量上存在不足，尤其是在与提示的组合正确性对齐方面。

核心思路：PATTS框架通过引入跨模态验证信号，优化中间思维-图像状态的选择，利用状态依赖的可靠性权重来调节外部语义验证的影响，从而提升生成效果。

技术框架：PATTS的整体架构包括多个模块：首先进行推理令牌和图像令牌的联合解码，然后通过跨模态验证信号对中间状态进行评估，最后根据可靠性权重进行最终选择。

关键创新：PATTS的主要创新在于引入状态依赖的可靠性权重，这一设计使得生成过程中的外部验证信号能够更有效地影响最终选择，区别于传统方法的单一选择机制。

关键设计：在模型内部轨迹诊断的基础上，PATTS设计了可靠性权重的计算方式，并在损失函数中考虑了中间状态的评估，以确保生成过程的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在MMaDA-Parallel数据集上，PATTS的GenEval评分达到0.844，相较于不使用TTS的0.628提升了34.4%，同时优于Best-of-N的0.787和FKD的0.810，显示出其在并行思维-图像共生成中的有效性。

🎯 应用场景

该研究的潜在应用领域包括图像生成、计算机视觉和多模态学习等。通过优化生成过程，PATTS能够在艺术创作、虚拟现实和自动化设计等领域提供更高质量的图像生成解决方案，未来可能对相关行业产生深远影响。

📄 摘要（原文）

Test-time scaling (TTS) improves generative models by allocating additional inference-time computation to sampling, search, and verification. Existing image generation approaches, however, typically rank completed images or image-centric intermediate states. We study TTS for parallel multimodal discrete diffusion language models, in which reasoning tokens and image tokens are decoded jointly within a single generation trajectory. We first diagnose a limitation of conventional final-image selection: on GenEval, a CLIP-style image-prompt score is weakly aligned with within-prompt compositional correctness, leaving substantial headroom between verifier selection and oracle selection. We then propose PATTS, a novel parallel-aware TTS framework that searches over intermediate thought-image states using cross-modal verifier signals. PATTS uses a state-dependent reliability weight, derived from model-internal trajectory diagnostics, to modulate the influence of external semantic verification during generation. In the fixed N=32 evaluation on MMaDA-Parallel, the PATTS reaches a GenEval score of 0.844, compared with 0.628 without TTS, 0.787 for Best-of-N, and 0.810 for FKD. These results show that reliability-aware trajectory verification can improve test-time selection for parallel thought-image co-generation under the evaluated search budget. Our code release is at https://github.com/Ringo-Star/PATTS.git