SPOD: Recovering Suppressed Temporal Evidence in Video-LLMs via Single-Pass Orthogonal Decomposition

📄 arXiv: 2611.04728v1 📥 PDF

作者: Yangguang Lin, Quan Fang, Xiaoyan Liu, Zefan Xu

分类: cs.CV

发布日期: 2026-11-03

备注: 10 pages, 4 figures, 1 table. Accepted to ACM Multimedia 2026 (MM '26)

期刊: In Proceedings of the 34th ACM International Conference on Multimedia (MM '26), November 10-14, 2026, Rio de Janeiro, Brazil

DOI: 10.1145/3767308.3835492

🔗 代码/项目: GITHUB

💡 一句话要点

提出SPOD以解决视频大语言模型中的时间推理问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频理解 时间推理 单次推理 正交分解 多模态学习

📋 核心要点

  1. 现有的视频大语言模型在时间推理任务中表现不佳，容易出现时间幻觉，影响理解效果。
  2. SPOD通过分析隐藏状态，提出了一种无需重新训练的单次前向传递方法，恢复时间证据。
  3. 实验结果显示，SPOD在多个数据集上超越了现有基线，提升了时间推理的准确性和效率。

📝 摘要（中文）

视频大语言模型（Video-LLMs）在视频理解任务中表现出色，但在时间敏感的推理场景中仍然容易出现时间幻觉。现有解决方案通常需要昂贵的重新训练或在测试时引入低效的多次推理和外部监督。本文提出了一种名为单次正交分解（SPOD）的训练无关框架，通过分析隐藏状态的操作，在单次前向传递中恢复被抑制的时间证据。SPOD由两个主要组件组成：帧显著性分析（FDA）和时间增量子空间（TDS），通过对最终隐藏状态进行分解和独立重新缩放，增强动态信息，抑制静态外观偏差。实验结果表明，SPOD在多个时间推理任务中超越了强基线，同时保持接近原始推理的效率。

🔬 方法详解

问题定义：本文旨在解决视频大语言模型在时间推理任务中出现的时间幻觉问题。现有方法通常需要重新训练或引入多次推理，导致效率低下。

核心思路：SPOD的核心思想是利用视频大语言模型内部已编码的时间信息，通过单次前向传递分析隐藏状态，恢复被抑制的时间证据。

技术框架：SPOD框架包括两个主要模块：帧显著性分析（FDA）和时间增量子空间（TDS）。FDA从中间层隐藏状态几何中识别显著帧，TDS则通过加权的帧间隐藏状态差异构建正交的时间和先前子空间。

关键创新：SPOD的创新在于通过对最终隐藏状态进行分解，独立缩放时间、先前和残差成分，从而增强动态信息并抑制静态偏差。这与现有方法的多次推理和外部监督形成了鲜明对比。

关键设计：SPOD的设计包括对隐藏状态的分析方法、加权机制以及如何构建正交子空间等技术细节，确保在不增加计算负担的情况下提升推理性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SPOD在VidHalluc、EventHallusion和VideoMMMU等数据集上表现优异，超越了多个强基线，提升幅度达到10%以上，同时保持接近原始推理的效率，显示出其在时间推理任务中的有效性。

🎯 应用场景

该研究的潜在应用领域包括视频理解、事件检测和场景分析等。通过提高视频大语言模型在时间推理方面的能力，SPOD可以在智能监控、自动驾驶和内容生成等多个领域发挥重要作用，未来可能推动更高效的视频分析技术的发展。

📄 摘要（原文）

Video Large Language Models (Video-LLMs) have achieved strong performance on many video understanding tasks, yet remain vulnerable to temporal hallucination in time-sensitive reasoning scenarios such as scene transition understanding and event ordering. Existing solutions either require costly retraining or introduce inefficient multi-pass inference and external supervision at test time. In this work, we show that temporal evidence is already encoded in Video-LLM hidden representations but is not fully exploited during standard inference. Motivated by this observation, we propose Single-Pass Orthogonal Decomposition (SPOD), a training-free framework that recovers suppressed temporal evidence through analytical hidden-state manipulation in a single forward pass. SPOD consists of two components: Frame Distinctiveness Analysis (FDA), which identifies salient frames from middle-layer hidden-state geometry, and Temporal Delta Subspace (TDS), which constructs orthogonal temporal and prior subspaces from weighted inter-frame hidden-state differences. By decomposing final hidden states into temporal, prior, and residual components and rescaling them independently, SPOD enhances dynamic information, suppresses static appearance bias, and preserves complementary information. Experiments on VidHalluc, EventHallusion, and VideoMMMU show that SPOD consistently outperforms strong inference-time baselines across temporal reasoning tasks and model architectures while retaining near-vanilla inference efficiency. These results suggest that improving temporal reasoning in Video-LLMs may depend not only on additional supervision, but also on recovering temporal evidence already present in their internal representations. Our code is available at https://github.com/VioAgnes/SPOD.