MultiToP: Learning to Patch Visual Tokens to Mitigate Hallucinations in Video Large Multimodal Models

📄 arXiv: 2606.11792 📥 PDF

作者: Yuansheng Gao, Wenbin Xing, Jiahao Yuan, Kaiwen Zhou, Han Bao, Zonghui Wang, Wenzhi Chen

分类: cs.CV, cs.AI, cs.CL

发布日期: 2026-06-12

💡 一句话要点

提出MultiToP以解决视频多模态模型的幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频理解 多模态模型 幻觉问题 视觉标记修补 信息引导校准

📋 核心要点

  1. 现有的视频大型多模态模型在生成响应时容易出现幻觉现象，导致输出与输入视频不一致。
  2. 本文提出的MultiToP框架通过视觉标记修补来精炼不可靠的视觉信息，从而改善生成的语言质量。
  3. 实验结果显示，MultiToP在减少幻觉方面表现优异，且在多个基准上显著提升了模型的性能。

📝 摘要（中文）

视频大型多模态模型在视频理解方面取得了显著进展，但仍然容易出现幻觉现象，即生成的响应未能真实反映输入视频。本文提出了MultiToP，一个多模态上下文感知的视觉标记修补框架，通过在语言生成之前精炼不可靠的视觉标记来减轻幻觉。MultiToP引入了一种轻量级的视觉标记修补器，预测标记级别的替换分布，并选择性地用动态全局补丁标记替换不可靠的视觉标记。为了有效训练修补器，本文进一步提出了信息引导的排名校准，利用从主干网络中提取的基于答案的帧级信息线索来指导标记替换。结合真实答案监督和稀疏正则化，MultiToP实现了局部视觉证据的精炼，而无需修改原始模型。大量实验表明，MultiToP在Vript-HAL上有效减少了幻觉，且推理开销微乎其微，使Qwen3-VL-4B-Instruct的F1分数提高了50.60%。同时，MultiToP保持了良好的视频理解能力，在ActivityNet-QA上为Video-LLaVA-7B带来了18.58%的相对准确率提升。

🔬 方法详解

问题定义：本文旨在解决视频大型多模态模型在生成过程中出现的幻觉问题，现有方法在处理不可靠视觉标记时效果不佳，导致生成内容与输入视频不符。

核心思路：MultiToP通过引入视觉标记修补器，预测并替换不可靠的视觉标记，利用上下文信息来提高生成语言的准确性和一致性。

技术框架：MultiToP的整体架构包括视觉标记修补器和信息引导的排名校准模块。修补器负责标记的替换，而排名校准则通过帧级信息引导修补过程。

关键创新：MultiToP的主要创新在于其轻量级的视觉标记修补机制和信息引导的排名校准方法，这与传统方法相比，能够更有效地处理不可靠的视觉信息。

关键设计：在设计上，MultiToP采用了动态全局补丁标记替换不可靠标记，并结合真实答案监督和稀疏正则化来优化训练过程，确保模型在不改变原始结构的情况下实现性能提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MultiToP在Vript-HAL数据集上有效减少了幻觉现象，Qwen3-VL-4B-Instruct的F1分数提升了50.60%。此外，在ActivityNet-QA上，Video-LLaVA-7B的相对准确率提升达18.58%，显示出该方法的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括视频内容生成、视频问答系统以及多模态交互系统等。通过改善视频理解的准确性，MultiToP能够提升用户体验，推动智能视频分析和生成技术的发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

Video Large Multimodal Models have achieved remarkable progress in video understanding, yet they remain prone to hallucinations, where generated responses are not faithfully supported by the input video. In this paper, we propose MultiToP, a multimodal-context-aware visual token patching framework that mitigates hallucinations by refining unreliable visual tokens before language generation. MultiToP introduces a lightweight Visual Token Patcher to predict token-level replacement distributions and selectively substitute unreliable visual tokens with a dynamic global patch token. To train the patcher effectively, we further propose information-guided rank calibration, which uses answer-conditioned frame-level information cues derived from the backbone to guide token replacement. Combined with ground-truth answer supervision and sparsity regularization, MultiToP enables localized visual evidence refinement without modifying the original model. Extensive experiments demonstrate that MultiToP effectively reduces hallucinations on Vript-HAL with negligible inference overhead, improving the F1 scores of Qwen3-VL-4B-Instruct by 50.60% over the vanilla model. Meanwhile, MultiToP preserves general video understanding ability, yielding an 18.58% relative accuracy gain on ActivityNet-QA for Video-LLaVA-7B.