InternVideo2: Scaling Foundation Models for Multimodal Video Understanding
作者: Yi Wang, Kunchang Li, Xinhao Li, Jiashuo Yu, Yinan He, Chenting Wang, Guo Chen, Baoqi Pei, Ziang Yan, Rongkun Zheng, Jilan Xu, Zun Wang, Yansong Shi, Tianxiang Jiang, Songze Li, Hongjie Zhang, Yifei Huang, Yu Qiao, Yali Wang, Limin Wang
分类: cs.CV
发布日期: 2024-03-22 (更新: 2024-08-14)
备注: a technical report about video understanding (accepted to ECCV2024)
🔗 代码/项目: GITHUB
💡 一句话要点
提出InternVideo2以解决多模态视频理解问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态视频理解 视频识别 跨模态对比学习 长视频理解 渐进式训练
📋 核心要点
- 现有的视频理解模型在处理长视频和多模态信息时存在性能不足的问题，难以实现高效的上下文推理。
- 论文提出了一种渐进式训练方法，结合掩蔽视频建模、跨模态对比学习和下一个标记预测，显著提升了模型的理解能力。
- 通过在60多个视频和音频任务上的实验，InternVideo2展示了在视频对话和长视频理解方面的优越性能，超越了现有的基线模型。
📝 摘要（中文）
我们介绍了InternVideo2，这是一种新型的视频基础模型（ViFM），在视频识别、视频文本任务和视频中心对话中取得了最先进的结果。我们的核心设计是一个渐进式训练方法，统一了掩蔽视频建模、跨模态对比学习和下一个标记预测，将视频编码器的规模扩大到60亿参数。在数据层面，我们通过语义分割视频和生成视频-音频-语音字幕来优先考虑时空一致性，从而改善视频与文本之间的对齐。通过广泛的实验，我们验证了设计并在60多个视频和音频任务上展示了优越的性能。值得注意的是，我们的模型在各种视频相关对话和长视频理解基准上表现优于其他模型，突显了其推理和理解更长上下文的能力。
🔬 方法详解
问题定义：本论文旨在解决现有多模态视频理解模型在处理长视频和复杂上下文时的性能不足，尤其是在视频与文本的对齐和理解能力方面存在的挑战。
核心思路：论文的核心思路是通过渐进式训练方法，结合多种学习策略（如掩蔽视频建模和跨模态对比学习），以提升模型对视频内容的理解和推理能力。这样的设计旨在增强模型在多模态任务中的表现，尤其是在长视频理解中。
技术框架：InternVideo2的整体架构包括三个主要模块：掩蔽视频建模模块、跨模态对比学习模块和下一个标记预测模块。模型通过逐步训练，逐渐增加参数规模，最终达到60亿参数的规模，以提高其表达能力和学习效果。
关键创新：最重要的技术创新在于将多种学习策略有效结合，形成统一的训练框架。这种方法与传统的单一任务训练方式有本质区别，能够更好地处理复杂的多模态信息。
关键设计：在模型设计中，采用了语义分割技术来提升视频的时空一致性，并生成视频-音频-语音字幕以增强视频与文本之间的对齐。此外，模型的损失函数和网络结构经过精心设计，以确保在多任务学习中实现最佳性能。
🖼️ 关键图片
📊 实验亮点
在实验中，InternVideo2在超过60个视频和音频任务上表现出色，尤其是在视频相关对话和长视频理解基准上，显著超越了现有的基线模型，展示了其在推理和理解长上下文方面的强大能力。具体性能数据和提升幅度在论文中详细列出。
🎯 应用场景
InternVideo2在视频理解、视频文本生成和视频对话系统等领域具有广泛的应用潜力。其强大的多模态理解能力可以推动智能助手、自动视频摘要和内容推荐等技术的发展，提升用户体验和信息获取效率。未来，该模型的设计理念也可能为其他多模态任务提供借鉴。
📄 摘要（原文）
We introduce InternVideo2, a new family of video foundation models (ViFM) that achieve the state-of-the-art results in video recognition, video-text tasks, and video-centric dialogue. Our core design is a progressive training approach that unifies the masked video modeling, crossmodal contrastive learning, and next token prediction, scaling up the video encoder size to 6B parameters. At the data level, we prioritize spatiotemporal consistency by semantically segmenting videos and generating video-audio-speech captions. This improves the alignment between video and text. Through extensive experiments, we validate our designs and demonstrate superior performance on over 60 video and audio tasks. Notably, our model outperforms others on various video-related dialogue and long video understanding benchmarks, highlighting its ability to reason and comprehend longer contexts. Code and models are available at https://github.com/OpenGVLab/InternVideo/tree/main/InternVideo2/.