MoHallBench: A Benchmark for Motion Hallucination in Video Large Language Models

📄 arXiv: 2607.01117v1 📥 PDF

作者: Jiale Li, Sihan Chen, Mengyuan Liu

分类: cs.CV

发布日期: 2026-07-01

备注: 17 pages, 5 figures

💡 一句话要点

提出MoHallBench以解决视频大语言模型中的运动幻觉问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频理解 运动幻觉 多模态学习 大语言模型 评估基准 偏见感知 序列推理

📋 核心要点

  1. 现有的视频大语言模型在处理运动幻觉时表现不佳，导致模型推断出视频中并不存在的人类动作。
  2. 本文提出MoHallBench基准，系统评估运动幻觉的主要来源，并引入双向提问协议以减少评估偏见。
  3. 实验结果表明，序列推理幻觉最为严重，且模型在正向动作识别上表现良好时，往往在对抗性负样本上失败。

📝 摘要（中文）

视频大语言模型（VideoLLMs）在视频理解方面取得了显著进展，但仍然存在与视觉证据不一致的幻觉现象。现有基准主要关注物体幻觉或粗略的动作感知，未能深入探讨视频特有的运动幻觉问题。本文提出MoHallBench，一个用于诊断VideoLLMs中运动幻觉的基准，系统评估三种主要幻觉来源：共现先验、序列推理和相似性混淆。MoHallBench包含11,306个视频片段和40,493个问答对，涵盖二元选择、多元选择和生成设置。我们还引入了双向提问协议和偏见感知指标，以减少二元评估中的肯定偏见。实验结果显示，动作识别与幻觉抵抗之间存在明显的解耦，当前模型在部分运动线索下往往过度推断预期结果。

🔬 方法详解

问题定义：本文旨在解决视频大语言模型中的运动幻觉问题，现有方法主要集中在物体幻觉或粗略动作感知，未能有效处理运动幻觉现象。

核心思路：通过构建MoHallBench基准，系统评估运动幻觉的三种主要来源，并引入双向提问协议以减少评估中的偏见。

技术框架：MoHallBench包含11,306个视频片段和40,493个问答对，涵盖多种评估设置。评估流程包括数据收集、问答生成、模型评估和结果分析。

关键创新：最重要的创新在于系统性地评估运动幻觉的来源，并通过双向提问协议引入偏见感知指标，提升评估的准确性。

关键设计：在实验中，采用了不同的评估设置，包括二元选择和多元选择，设计了偏见感知的评估指标，以确保评估结果的公正性。实验还揭示了强先验和细粒度相似性对幻觉的显著影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，当前模型在正向动作识别上表现良好，但在对抗性负样本上却存在显著失败，尤其是在序列推理幻觉方面，表现最为严重。通过MoHallBench的评估，揭示了模型在运动幻觉方面的脆弱性，为未来的研究提供了重要的参考。

🎯 应用场景

该研究的潜在应用领域包括视频内容生成、视频理解系统和人机交互等。通过有效评估和缓解运动幻觉，MoHallBench能够提升视频大语言模型在实际应用中的可靠性和准确性，推动多模态学习的发展。

📄 摘要（原文）

Video Large Language Models (VideoLLMs) have shown strong progress in video understanding, yet they still suffer from hallucinations that are inconsistent with visual evidence. Existing benchmarks mainly focus on object hallucination or coarse action perception, leaving a key video-specific problem underexplored: motion hallucination, in which models infer human motions that are absent from the video. We present MoHallBench, a benchmark for diagnosing motion hallucination in VideoLLMs. MoHallBench systematically evaluates three major sources of hallucination: co-occurrence priors, sequential inference, and similarity confusion. It contains 11,306 video clips and 40,493 question-answer pairs, covering binary-choice, multiple-choice, and generative settings. We further introduce a bi-directional questioning protocol with bias-aware metrics to reduce affirmation bias in binary evaluation. Experiments on ten recent open-source VideoLLMs reveal a clear decoupling between action recognition and hallucination resistance, as models that perform well on positive action recognition often fail on adversarial negatives. Among all settings, sequential inference hallucination is the most severe, showing that current models tend to over-infer expected outcomes from partial motion cues. Our analyses further confirm that stronger priors and finer-grained similarity substantially amplify hallucination. We hope MoHallBench can facilitate future evaluation and mitigation of motion hallucination in VideoLLMs.