Latent Noise Mask for Reducing Visual Redundancy in Multimodal Large Language Models

📄 arXiv: 2606.30168v1 📥 PDF

作者: Kai Jiang, Ruishu Zhu, Siqi Huang, Hongyuan Zhang, Xuelong Li

分类: cs.CV

发布日期: 2026-06-29

备注: 21 pages, 7 figures;

💡 一句话要点

提出LatEnt Noise Mask以解决多模态大语言模型的视觉冗余问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 视觉推理 冗余信息抑制 视觉证据净化 Lens Evidence Token 自适应潜在噪声 智能问答 人机交互

📋 核心要点

  1. 现有的多模态大语言模型在细粒度视觉推理中存在视觉冗余问题，导致推理效果不佳。
  2. 本文提出了LatEnt Noise Mask（Lens），通过引入Lens Evidence Token（LET）来净化视觉证据，提升推理质量。
  3. 实验结果显示，Lens在VQA和定位任务上显著提升了模型性能，证明了清晰视觉证据的重要性。

📝 摘要（中文）

多模态大语言模型（MLLMs）在细粒度视觉推理中常常表现不佳，因为与问题相关的视觉线索被密集且冗余的图像标记稀释。现有的多模态推理方法通常将语言模型的思维链扩展到视觉或潜在空间，试图添加中间推理状态，但忽视了冗余视觉标记的负面影响。本文提出了一种问题条件的视觉证据净化框架——LatEnt Noise Mask（Lens），旨在使MLLMs能够在潜在空间中使用更清晰的视觉线索进行推理。Lens引入了一种轻量级的Lens Evidence Token（LET），用于评分哪些视觉标记支持当前问题，并在解码过程中保留这些标记。通过LET评分引导，Lens向低相关标记注入自适应潜在噪声，柔性抑制干扰项，而不改变模型主干或标记序列。实验结果表明，Lens在大多数VQA数据集上提升了2.4-6.4分，在定位任务上提升了4.1-6.4分，显示出多模态推理更直接受益于清晰的与问题相关的视觉证据。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在细粒度视觉推理中因视觉标记冗余而导致的性能下降问题。现有方法往往未能有效处理这些冗余信息，影响了推理的准确性。

核心思路：论文提出的Lens框架通过引入Lens Evidence Token（LET）来评分视觉标记的相关性，从而在解码过程中保留重要的视觉信息，并对低相关标记注入自适应潜在噪声，以减少干扰。

技术框架：Lens的整体架构包括三个主要模块：首先是LET模块，用于评估视觉标记的相关性；其次是噪声生成模块，向低相关标记注入潜在噪声；最后是解码模块，结合清晰的视觉证据进行推理。

关键创新：Lens的主要创新在于其轻量级设计，使用一个可学习的控制标记和噪声生成器，显著降低了计算开销，同时有效提升了推理性能。这与传统方法的直接扩展思维链的方式有本质区别。

关键设计：在设计中，LET的评分机制是关键，能够动态评估视觉标记的相关性。此外，噪声生成器的参数设置和损失函数设计也经过精心调整，以确保在抑制冗余信息的同时不影响重要信息的传递。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Lens在大多数视觉问答（VQA）数据集上提升了2.4-6.4分，在定位任务上提升了4.1-6.4分，显示出其在多模态推理中的显著效果，优于现有基线方法。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、视觉辅助决策和人机交互等。通过提升多模态大语言模型的推理能力，Lens能够在需要细粒度视觉理解的场景中提供更准确的结果，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Multimodal large language models (MLLMs) often fail in fine-grained visual reasoning, as question-relevant visual cues are diluted by dense and redundant image tokens. Recent multimodal reasoning methods usually extend chain-of-thought from language models into visual or latent spaces, seeking to add intermediate reasoning states while overlooking the negative impact of redundant visual tokens. We propose LatEnt Noise maSk (Lens), a question-conditioned visual evidence purification framework that empowers MLLMs to reason with cleaner visual cues in latent space. Lens introduces a lightweight Lens Evidence Token (LET) to score which visual tokens support the current question and preserve them during decoding. Guided by the LET scores, it injects adaptive latent noise into low-relevance tokens, softly suppressing distractors without changing the model backbone or token sequence. With only one temporary learnable control token and a lightweight noise generator, Lens adds minimal overhead while improving the base MLLM by 2.4-6.4 points on most VQA datasets and by 4.1-6.4 points on grounding tasks. These results show that multimodal reasoning can benefit more directly from cleaner question-relevant visual evidence than from simply extending the reasoning trace.