TimeViper: A Hybrid Mamba-Transformer Vision-Language Model for Efficient Long Video Understanding

📄 arXiv: 2511.16595v2 📥 PDF

作者: Boshen Xu, Zihan Xiao, Jiaze Li, Jianzhong Ju, Zhenbo Luo, Jian Luan, Qin Jin

分类: cs.CV, cs.AI, cs.CL

发布日期: 2025-11-20 (更新: 2025-11-26)

备注: Project page: https://xuboshen.github.io/TimeViper; Code: https://github.com/xiaomi-research/timeviper

💡 一句话要点

TimeViper：一种混合Mamba-Transformer视觉-语言模型，用于高效长视频理解

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 长视频理解 Mamba Transformer 混合模型 视觉语言模型

📋 核心要点

  1. 现有长视频理解模型在处理超长序列时面临计算效率瓶颈，难以兼顾模型表达能力和推理速度。
  2. TimeViper提出混合Mamba-Transformer架构，利用Mamba的高效性和Transformer的表达性，并设计TransV模块压缩视觉信息。
  3. 实验表明，TimeViper在多个长视频理解基准上表现出色，能够处理超过10000帧的视频，并提供了混合模型的可解释性分析。

📝 摘要（中文）

本文提出TimeViper，一种混合视觉-语言模型，旨在解决长视频理解的挑战。处理长视频需要高效的模型架构和处理扩展时间上下文的有效机制。为此，TimeViper采用混合Mamba-Transformer骨干网络，结合了状态空间模型的效率和注意力机制的表达能力。通过这种混合设计，我们揭示了视觉到文本的信息聚合现象，即信息在LLM深度增加时逐渐从视觉token流向文本token，导致严重的视觉token冗余。受此观察的启发，我们提出了TransV，一种token信息传递模块，将视觉token传递和压缩到指令token中，同时保持多模态理解能力。这种设计使TimeViper能够处理超过10,000帧的数小时视频。在多个基准测试中进行的大量实验表明，TimeViper在扩展帧数的同时，可以与最先进的模型竞争。我们进一步分析了Mamba和Transformer层的注意力行为，为混合模型的可解释性提供了新的见解。这项工作代表了开发、解释和压缩混合Mamba-Transformer架构的初步尝试。

🔬 方法详解

问题定义：长视频理解任务面临计算量大、时间跨度长的问题。现有方法，如纯Transformer模型，在处理长序列时计算复杂度高，难以扩展到数小时的视频。此外，如何有效融合视觉和语言信息，避免视觉信息冗余，也是一个挑战。

核心思路：TimeViper的核心思路是结合Mamba和Transformer的优势，构建混合架构。Mamba擅长处理长序列，具有线性复杂度，而Transformer具有强大的表达能力。通过TransV模块，将视觉token压缩并传递到文本token，减少视觉信息的冗余，提高效率。

技术框架：TimeViper的整体架构包括：1) 视觉编码器：提取视频帧的视觉特征；2) 混合Mamba-Transformer层：交替使用Mamba和Transformer层处理视觉和文本token；3) TransV模块：在混合层中，将视觉token信息传递并压缩到文本token；4) 语言模型：基于融合的视觉和文本信息进行预测。

关键创新：TimeViper的关键创新在于：1) 混合Mamba-Transformer架构，兼顾效率和表达能力；2) TransV模块，有效压缩视觉信息，减少冗余，提高计算效率；3) 揭示了视觉到文本的信息聚合现象，并针对性地设计了TransV模块。

关键设计：TransV模块的具体实现方式未知，论文中可能没有详细描述其内部结构和参数设置。损失函数和训练策略也未知，但推测会采用标准的视觉-语言模型训练方法，例如对比学习或生成式学习。

📊 实验亮点

TimeViper在多个长视频理解基准测试中表现出色，能够处理超过10000帧的视频。论文对比了TimeViper与现有SOTA模型的性能，展示了TimeViper在效率和准确性方面的优势。此外，论文还分析了Mamba和Transformer层的注意力行为，为混合模型的可解释性提供了新的见解。

🎯 应用场景

TimeViper在视频监控、自动驾驶、智能助手等领域具有广泛的应用前景。它可以用于分析长时间的监控录像，检测异常事件；在自动驾驶中，可以处理长时间的行车记录，提高决策的准确性；在智能助手中，可以理解用户的长篇指令，提供更智能的服务。该研究有助于推动长视频理解技术的发展，为相关应用提供更高效、更准确的解决方案。

📄 摘要（原文）

We introduce TimeViper, a hybrid vision-language model designed to tackle challenges of long video understanding. Processing long videos demands both an efficient model architecture and an effective mechanism for handling extended temporal contexts. To this end, TimeViper adopts a hybrid Mamba-Transformer backbone that combines the efficiency of state-space models with the expressivity of attention mechanisms. Through this hybrid design, we reveal the vision-to-text information aggregation phenomenon, where information progressively flows from vision tokens to text tokens across increasing LLM depth, resulting in severe vision token redundancy. Motivated by this observation, we propose TransV, a token information transfer module that transfers and compresses vision tokens into instruction tokens while maintaining multimodal understanding capabilities. This design enables TimeViper to process hour-long videos exceeding 10,000 frames. Extensive experiments across multiple benchmarks demonstrate that TimeViper competes with state-of-the-art models while extending frame numbers. We further analyze attention behaviors of both Mamba and Transformer layers, offering new insights into hybrid model interpretability. This work represents an initial step towards developing, interpreting, and compressing hybrid Mamba-Transformer architectures.