InternVideo3: Agentify Foundation Models with Multimodal Contextual Reasoning
作者: Ziang Yan, Sheng Xia, Jiashuo Yu, Yue Wu, Tianxiang Jiang, Songze Li, Kanghui Tian, Yicheng Xu, Yinan He, Kai Chen, Limin Wang, Yu Qiao, Yi Wang
分类: cs.CV
发布日期: 2026-06-10
💡 一句话要点
提出InternVideo3以解决长视频多模态理解问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长视频理解 多模态上下文推理 多模态融合 闭环推理 视频代理 蒸馏训练 潜在注意力
📋 核心要点
- 现有方法在长视频理解和多模态任务中存在不足，尤其是在持续的时间理解和迭代交互方面。
- 提出的InternVideo3框架通过多模态上下文推理（MCR）将理解过程视为闭环，增强了长视频的理解能力。
- 实验结果显示，InternVideo3在多个基准测试中取得了显著的性能提升，展示了其在视频代理中的有效性。
📝 摘要（中文）
近年来，基础模型的进展逐渐转向涉及多步骤推理和工具使用的智能行为。然而，现有的开源工作主要集中在文本主导的设置上，长时间多模态任务仍未得到充分探索。为此，本文提出了InternVideo3框架，通过多模态上下文推理（MCR）增强这些能力。MCR将理解视为一个在共享、不断演变的上下文中进行的闭环过程，包含观察、指令、推理、工具操作和记忆。为了提高效率，本文引入了多模态多头潜在注意力（M^2LA），该方法在保留完整令牌流的同时压缩KV缓存状态。实验表明，InternVideo3在Video-MME、MLVU和EgoSchema等基准测试中表现出色。
🔬 方法详解
问题定义：本文旨在解决长视频多模态理解中的挑战，现有方法在处理复杂的时间序列和多模态信息时表现不足，尤其是在需要持续推理的任务中。
核心思路：论文提出的多模态上下文推理（MCR）将理解视为一个闭环过程，通过不断积累和验证证据来增强长视频的理解能力。这样的设计使得模型能够更好地处理复杂的上下文信息。
技术框架：InternVideo3的整体架构包括多个模块：首先是持续预训练，其次是从短到长的监督微调，接着是基于规则的强化学习，最后是策略蒸馏。这些阶段共同构成了一个高效的训练流程。
关键创新：最重要的技术创新在于引入了多模态多头潜在注意力（M^2LA），该方法在压缩KV缓存状态的同时保留了完整的令牌流，显著提高了模型的效率和性能。
关键设计：在模型设计中，采用了特定的损失函数和网络结构，以确保在多模态信息处理时的高效性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，InternVideo3在Video-MME、MLVU和EgoSchema等基准测试中表现优异，具体性能提升幅度超过了现有方法，展示了其在长视频理解中的有效性和可靠性。
🎯 应用场景
该研究的潜在应用领域包括视频监控、自动驾驶、智能助手等，能够在需要长时间理解和多模态交互的场景中发挥重要作用。未来，InternVideo3有望推动多模态模型在更复杂任务中的应用，提升智能系统的自主决策能力。
📄 摘要（原文）
Recent progress in foundation models has shifted toward agentic behavior involving multi-step reasoning and tool use. However, open-source efforts largely focus on text-dominant settings, leaving long-horizon multimodal tasks underexplored. This gap is evident in video tasks requiring sustained temporal understanding and iterative interaction. We present InternVideo3, a framework enhancing these capabilities via Multimodal Contextual Reasoning (MCR). MCR treats understanding as a closed-loop process over a shared, evolving context containing observations, instructions, reasoning, tool actions, and memory. This frames long-video understanding as evidence accumulation and verification. To ensure efficiency, we introduce Multimodal Multi-head Latent Attention (M^2LA), a token-preserving reparameterization compressing KV-cache states while retaining the full token stream. Our staged training includes continued pretraining, short-to-long supervised fine-tuning, rule-based reinforcement learning, and on-policy distillation. Experiments show InternVideo3 achieves strong performance on benchmarks like Video-MME, MLVU, and EgoSchema. We further instantiate the model as a video agent with retrieval tools, demonstrating robust evidence-grounded behavior. Our results suggest that efficient context handling and closed-loop reasoning are vital for adapting open multimodal models toward long-horizon visually grounded agency.