Visual Information-Guided Parallel Decoding for Diffusion Multimodal Large Language Models

📄 arXiv: 2608.26580v1 📥 PDF

作者: Insu Lee, Wooje Park, Wonseok Shin, Jinwoo Son, Byonghyo Shim

分类: cs.CV, cs.CL

发布日期: 2026-08-27

💡 一句话要点

提出视觉信息引导的并行解码方法以提升多模态生成质量

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态生成 扩散模型 视觉信息 解码策略 信息增益 图像描述 视觉问答

📋 核心要点

  1. 现有的多模态生成方法在选择解码标记时，往往忽视输入图像的信息，导致生成质量不佳。
  2. 本文提出的视觉信息引导采样器（VIG-Sampler）通过关注图像标记来优先选择解码标记，并增加信息增益。
  3. 在7个基准测试中，VIG-Sampler在图像描述任务上平均提升了19.3个CIDEr点，且解码步骤减少至一半。

📝 摘要（中文）

扩散多模态大语言模型（dMLLMs）作为一种新兴的多模态生成解码范式，从完全掩蔽的序列开始，逐步解码序列。选择解码的标记对最终输出质量至关重要。现有方法通常基于标记的确定性度量进行优先级排序，容易偏向于训练数据中频繁出现的标记。本文提出视觉信息引导采样器（VIG-Sampler），根据标记对图像标记的注意力来优先选择标记，并对与先前选择的标记相似的候选标记施加惩罚，从而增加解码子集的信息增益。通过在7个图像描述和视觉问答基准上的广泛实验，VIG-Sampler在图像描述基准上平均提升了19.3个CIDEr点，并在COCO Caption上超越了Info-Gain Sampler，同时仅使用了一半的解码步骤。

🔬 方法详解

问题定义：本文旨在解决现有多模态生成方法在解码过程中未能充分利用输入图像信息的问题。现有方法通常基于标记的确定性度量进行优先级排序，容易导致生成结果的质量下降。

核心思路：提出视觉信息引导采样器（VIG-Sampler），该方法通过分析标记对图像标记的注意力来优先选择解码标记，并对相似的候选标记施加惩罚，以提高信息增益。

技术框架：VIG-Sampler的整体架构包括三个主要模块：首先是图像标记的注意力计算模块，其次是候选标记的选择模块，最后是基于信息增益的解码策略模块。

关键创新：VIG-Sampler的核心创新在于引入了图像信息的注意力机制，使得解码过程更加依赖于输入图像，从而提高了生成质量。这一方法与传统的基于确定性度量的解码策略有本质区别。

关键设计：在设计中，VIG-Sampler对候选标记的选择引入了图像注意力分布的惩罚机制，确保新选择的标记与之前选择的标记在图像注意力分布上有显著差异。此外，损失函数的设计也考虑了信息增益的最大化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，VIG-Sampler在7个图像描述和视觉问答基准上表现优异，平均提升了19.3个CIDEr点，且在COCO Caption任务中超越了Info-Gain Sampler，同时解码步骤减少至一半，显示出其高效性和有效性。

🎯 应用场景

该研究的潜在应用领域包括图像描述生成、视觉问答系统及其他多模态生成任务。通过提升生成质量，VIG-Sampler能够在实际应用中提供更为准确和丰富的内容生成，具有重要的商业价值和社会影响。

📄 摘要（原文）

Diffusion multimodal large language models (dMLLMs) have recently emerged as a new decoding paradigm for multimodal generation. Starting from a fully masked sequence, dMLLMs progressively decode the sequence by unmasking a subset of the remaining masked positions at each step. Since the selected tokens serve as the prediction context for subsequent steps, deciding which tokens to decode is crucial to the quality of the final output. The most common strategy prioritizes tokens based on a certainty measure that tends to favor tokens frequently observed in the training data. Recent approaches instead order tokens according to their influence on subsequent predictions, but do not explicitly account for the input image. We propose the Visual Information-Guided Sampler (VIG-Sampler), which prioritizes tokens based on their attention to image tokens. We further impose a constraint that penalizes candidate tokens whose image-attention distributions are similar to those of previously selected tokens, thereby increasing the information gain of the decoded subset. Extensive experiments on 7 captioning and VQA benchmarks with 3 open-source dMLLMs demonstrate the effectiveness of VIG-Sampler, which outperforms the Info-Gain Sampler by an average of 19.3 CIDEr points across the captioning benchmarks and surpasses it on COCO Caption while using only half as many decoding steps.