MultiToP: Learning to Patch Visual Tokens to Mitigate Hallucinations in Video Large Multimodal Models

📄 arXiv: 2606.11792v1 📥 PDF

作者: Yuansheng Gao, Wenbin Xing, Jiahao Yuan, Kaiwen Zhou, Han Bao, Zonghui Wang, Wenzhi Chen

分类: cs.CV, cs.AI, cs.CL

发布日期: 2026-06-10

备注: Preprint

💡 一句话要点

提出MultiToP以解决视频多模态模型中的幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频理解 多模态模型 幻觉现象 视觉标记修补 信息引导校准

📋 核心要点

  1. 现有的视频大型多模态模型在生成响应时容易出现幻觉现象，导致生成内容与输入视频不一致。
  2. MultiToP提出了一种视觉标记修补框架，通过预测标记替换分布来精炼不可靠的视觉标记，从而减轻幻觉现象。
  3. 实验结果显示，MultiToP在Vript-HAL上减少幻觉的同时，提升了模型的F1分数，并在ActivityNet-QA上提高了准确率。

📝 摘要（中文）

视频大型多模态模型在视频理解方面取得了显著进展，但仍然容易出现幻觉现象，即生成的响应未能真实反映输入视频。本文提出了MultiToP，一个多模态上下文感知的视觉标记修补框架，通过在语言生成之前精炼不可靠的视觉标记来减轻幻觉。MultiToP引入了一种轻量级的视觉标记修补器，预测标记级别的替换分布，并选择性地用动态全局补丁标记替换不可靠的视觉标记。为了有效训练修补器，我们进一步提出了信息引导的排名校准，利用从主干网络中提取的答案条件帧级信息线索来指导标记替换。结合真实答案监督和稀疏正则化，MultiToP实现了局部视觉证据的精炼，而无需修改原始模型。大量实验表明，MultiToP在Vript-HAL上有效减少了幻觉，且推理开销微乎其微，使Qwen3-VL-4B-Instruct的F1分数提高了50.60%。同时，MultiToP保持了良好的视频理解能力，在ActivityNet-QA上为Video-LLaVA-7B带来了18.58%的相对准确率提升。

🔬 方法详解

问题定义：本文旨在解决视频大型多模态模型在生成过程中出现的幻觉问题，现有方法在处理不可靠视觉标记时效果不佳，导致生成内容与输入视频不符。

核心思路：MultiToP通过引入视觉标记修补器，预测并替换不可靠的视觉标记，利用上下文信息来指导这一过程，从而提高生成内容的准确性。

技术框架：MultiToP的整体架构包括视觉标记修补器、信息引导的排名校准模块和稀疏正则化策略。修补器负责标记的替换，排名校准模块则提供指导信息。

关键创新：MultiToP的核心创新在于其轻量级的视觉标记修补器和信息引导的排名校准方法，这使得模型能够在不修改原始结构的情况下，精炼视觉证据。

关键设计：在设计中，修补器的参数设置和损失函数经过精心调整，以确保标记替换的有效性和准确性，同时引入稀疏正则化以提高模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MultiToP在Vript-HAL上有效减少了幻觉现象，Qwen3-VL-4B-Instruct的F1分数提高了50.60%。此外，在ActivityNet-QA上，Video-LLaVA-7B的相对准确率提升达18.58%，显示出其在视频理解任务中的优越性。

🎯 应用场景

该研究的潜在应用领域包括视频内容生成、视频问答系统以及多模态信息检索等。通过减轻幻觉现象，MultiToP能够提升用户体验和系统的可靠性，未来可能在教育、娱乐和安全监控等多个领域产生深远影响。

📄 摘要（原文）

Video Large Multimodal Models have achieved remarkable progress in video understanding, yet they remain prone to hallucinations, where generated responses are not faithfully supported by the input video. In this paper, we propose MultiToP, a multimodal-context-aware visual token patching framework that mitigates hallucinations by refining unreliable visual tokens before language generation. MultiToP introduces a lightweight Visual Token Patcher to predict token-level replacement distributions and selectively substitute unreliable visual tokens with a dynamic global patch token. To train the patcher effectively, we further propose information-guided rank calibration, which uses answer-conditioned frame-level information cues derived from the backbone to guide token replacement. Combined with ground-truth answer supervision and sparsity regularization, MultiToP enables localized visual evidence refinement without modifying the original model. Extensive experiments demonstrate that MultiToP effectively reduces hallucinations on Vript-HAL with negligible inference overhead, improving the F1 scores of Qwen3-VL-4B-Instruct by 50.60% over the vanilla model. Meanwhile, MultiToP preserves general video understanding ability, yielding an 18.58% relative accuracy gain on ActivityNet-QA for Video-LLaVA-7B.