COMET: Contrastive Motion-Enhanced Temporal Reasoning for Video Multimodal Large Language Models

📄 arXiv: 2608.21030v1 📥 PDF

作者: Chenghua Zhu, Zhaolu Kang, Qifan Shi, Siyan Wu, Kehan Jiang, Lei Wei, Lianyu Hu, Guangyuan Dong, Mingbo Yang, Rui Lu, Guibo Luo

分类: cs.CV, cs.CL, cs.LG

发布日期: 2026-08-21

备注: Accepted at the 34th ACM International Conference on Multimedia (ACM MM 2026)

💡 一句话要点

提出COMET以解决视频多模态大语言模型的运动时间理解问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频多模态 时间建模 运动理解 深度学习 多模态融合 模型优化 方向感知 蒸馏训练

📋 核心要点

  1. 现有视频多模态大语言模型在运动时间理解上存在稀疏帧采样和时间建模不足的问题。
  2. COMET通过引入时间运动分支和时间注意力机制，增强了视频的时间表示和外观-运动交互。
  3. 在多个任务上，COMET在动作中心任务和时间推理任务上分别提升了4.9%和2.1%的性能，显示出良好的泛化能力。

📝 摘要（中文）

视频多模态大语言模型（MLLMs）已取得显著进展，但细粒度的运动时间理解仍然脆弱。核心瓶颈不仅在于稀疏的帧采样，还在于缺乏完整的时间建模管道，无法明确表示帧间变化，促进外观与运动的交互，并优化时间方向敏感性。为此，本文提出了COMET，一个系统性增强视频MLLMs的时间基础框架，通过显式的时间表示、外观-运动融合和方向感知优化来实现。COMET在Qwen3-VL-8B上实现了显著的性能提升，尤其在以动作为中心的任务上平均提高了4.9%。

🔬 方法详解

问题定义：本文旨在解决视频多模态大语言模型在运动时间理解方面的不足，特别是稀疏帧采样和缺乏完整时间建模的问题。

核心思路：COMET的核心思路是通过显式的时间表示和外观-运动融合来增强模型的时间理解能力，利用时间注意力机制优化运动方向的敏感性。

技术框架：COMET的整体架构包括时间运动分支、外观流和时间注意力机制。时间运动分支基于泰勒帧差异构建，将运动信息注入外观流中，通过交叉注意力进行融合。

关键创新：COMET的主要创新在于引入了时间运动分支和前向-反向TC-GRPO阶段，将时间顺序转化为直接学习信号，增强了模型对方向性运动模式的利用。

关键设计：在设计上，COMET结合了时间先验蒸馏和增强的交叉注意力机制，确保运动信息有效传递，同时优化了损失函数以强化时间方向的学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

COMET在Qwen3-VL-8B模型上实现了显著的性能提升，动作中心任务平均提高4.9%，时间推理任务提高2.1%。这一结果表明，COMET在不同模型家族中具有良好的泛化能力，能够有效提升视频理解的准确性。

🎯 应用场景

COMET的研究成果在视频理解、智能监控、自动驾驶等领域具有广泛的应用潜力。通过增强模型的运动时间理解能力，可以提升这些系统在复杂场景下的决策和推理能力，推动相关技术的发展与应用。

📄 摘要（原文）

Video multimodal large language models have advanced significantly, yet fine-grained motion-temporal understanding remains fragile. The core bottleneck is not only sparse frame sampling, but also the lack of a complete temporal modeling pipeline for explicitly representing frame-to-frame change, enabling appearance-motion interaction, and optimizing temporal direction sensitivity. We propose COMET, a temporally grounded framework that systematically strengthens video MLLMs through explicit temporal representation, appearance-motion fusion, and direction-aware optimization. Architecturally, COMET introduces a temporal motion branch built on Taylor frame differences and injects its motion evidence into the appearance stream via temporal attention bias-enhanced cross-attention. For optimization, COMET combines temporal prior distillation with a forward-reverse TC-GRPO stage that turns temporal order into a direct learning signal and strengthens the model's use of directional motion patterns encoded by the temporal motion branch. The method achieves consistent overall improvements with a pronounced motion-temporal bias: on Qwen3-VL-8B, action-centric tasks (STAR, SSv2) improve by 4.9% on average, temporal reasoning tasks (NExT-QA, CLEVRER, LLaVA-178K) by 2.1% over BL-GRPO, while static perception tasks (PerceptionTest) remain on par. The same gain pattern also transfers to InternVL2.5-8B, indicating that COMET generalizes across model families.