MoTE: Mixture of Task Experts for Multi-Task Video Understanding

📄 arXiv: 2608.24763v1 📥 PDF

作者: Muhammad Asad Ali, Umar Khan, Nadia Robertini, Didier Stricker

分类: cs.CV, cs.LG

发布日期: 2026-08-25

备注: Accepted at BMVC 2026. 32 pages, 4 figures, 15 tables, including supplementary material

💡 一句话要点

提出MoTE以解决多任务视频理解中的专家路由问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多任务学习 视频理解 混合专家 变换器 多模态学习 任务路由 人工智能

📋 核心要点

  1. 现有的稠密变换器解码器在多任务视频理解中存在任务行为交缠的问题，难以进行有效的能力扩展。
  2. 本文提出MoTE架构，将前馈网络转化为任务特定的专家，保持多模态骨干共享，从而实现独立的任务专家计算。
  3. 在五个COIN基准上，VideoLLM-MoTE模型在top-1准确率上优于现有的VideoLLM基线，展示了其有效性。

📝 摘要（中文）

程序化视频语言模型必须从相同的视觉证据中解决异构任务，包括动作识别、预测和过程预测。现有的稠密变换器解码器在任务间共享前馈网络，导致任务行为交缠，难以进行受控能力扩展。稀疏混合专家（MoE）解码器提供条件计算，但基于令牌的学习路由与任务级程序目标不自然对齐。本文提出MoTE（任务专家混合），一种解码器架构，将大型语言模型的前馈网络转换为任务特定的专家，同时保持多模态骨干网络共享。我们将该设计实例化为VideoLLM-MoTE，并在五个COIN基准上使用显式任务路由进行评估。五专家模型每个样本激活约20亿LLM参数，并在平均top-1准确率上超越了最近的VideoLLM基线。

🔬 方法详解

问题定义：论文旨在解决多任务视频理解中，现有稠密变换器解码器导致的任务行为交缠和能力扩展困难的问题。

核心思路：提出MoTE架构，通过将大型语言模型的前馈网络转化为任务特定的专家，保持多模态骨干网络的共享，从而实现任务专家的独立计算。

技术框架：整体架构包括一个共享的多模态骨干网络和多个任务专家，每个样本根据其任务选择相应的专家进行计算，避免了任务间的干扰。

关键创新：MoTE的核心创新在于任务结构化路由的引入，使得解码器在多任务学习中既可解释又计算高效，区别于传统的稠密激活和学习稀疏路由的方法。

关键设计：模型设计中，五专家模型每个样本激活约20亿LLM参数，采用显式任务路由，优化了参数的使用效率和计算性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，VideoLLM-MoTE模型在五个COIN基准上表现出色，平均top-1准确率超过了最新的VideoLLM基线，显示出在相同专家拓扑下，任务结构化路由的优势，提升幅度显著。

🎯 应用场景

该研究在多任务视频理解领域具有广泛的应用潜力，能够提升视频分析、自动驾驶、智能监控等场景中的任务执行效率。未来，MoTE架构可能推动更复杂的多模态学习任务的发展，促进人工智能在实际应用中的落地。

📄 摘要（原文）

Procedural video-language models must solve heterogeneous tasks from the same visual evidence, including action recognition, forecasting, and procedure prediction. Dense transformer decoders share the same feed-forward networks across tasks, which can entangle task behavior and make controlled capability expansion difficult. Sparse Mixture-of-Experts (MoE) decoders provide conditional computation, but token-level learned routing is not naturally aligned with task-level procedural objectives. We propose MoTE (Mixture of Task Experts), a decoder architecture that converts large language model feed-forward networks into task-specific experts while keeping the multimodal backbone shared. Each example follows one sample-level task route, so active task-expert computation remains independent of the number of stored task experts. We instantiate this design as VideoLLM-MoTE and evaluate it on five COIN benchmarks using explicit task routes. The five-expert model activates ~2B LLM parameters per sample and achieves higher average top-1 accuracy than recent VideoLLM baselines. Under the same expert topology, it improves over dense all-expert activation and learned sparse-routing controls. These results show that task-structured routing provides an interpretable and compute-efficient decoder alternative for multi-task video-language learning.