CREMA: Generalizable and Efficient Video-Language Reasoning via Multimodal Modular Fusion

📄 arXiv: 2402.05889v4 📥 PDF

作者: Shoubin Yu, Jaehong Yoon, Mohit Bansal

分类: cs.CV, cs.AI, cs.CL

发布日期: 2024-02-08 (更新: 2025-03-20)

备注: ICLR 2025; first two authors contributed equally. Project page: https://CREMA-VideoLLM.github.io/

💡 一句话要点

提出CREMA以解决多模态视频推理的灵活性与效率问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 视频理解 模块化设计 信息融合 参数高效

📋 核心要点

  1. 现有多模态推理方法在灵活性和效率上存在不足，通常只能处理固定模态输入并需更新大量参数。
  2. CREMA框架通过模块化设计，能够灵活整合多种模态，提升视频推理的效率和准确性。
  3. 在7个视频语言推理任务中，CREMA表现出色，性能与现有强大模型相当，同时显著减少了可训练参数。

📝 摘要（中文）

尽管近年来多模态推理方法取得了显著进展，但在灵活性和效率方面仍存在局限，因为这些模型通常仅处理少量固定模态输入，并需要更新大量参数。本文提出了CREMA，一个通用、高效且模块化的模态融合框架，能够整合任何新模态以增强视频推理。我们通过传感器或现有预训练模型，从给定视频中增强多种信息模态（如光流、3D点云、音频、热图和触摸图），而无需额外的人类标注。接着，我们引入了一个查询变换器，配备多个与每种可用模态相关的参数高效模块，将不同模态特征投影到LLM令牌嵌入空间，从而实现不同数据类型的整合与响应生成。此外，我们提出了一种新颖的渐进式多模态融合设计，支持轻量级融合模块和模态顺序训练策略，有助于在保持计算效率的同时提升性能。我们在7个视频语言推理任务上验证了该方法，取得了比强大的多模态LLM（如OneLLM、BLIP-2和SeViLA）更好或相当的性能，同时减少了90%以上的可训练参数。

🔬 方法详解

问题定义：本文旨在解决现有多模态视频推理方法在灵活性和效率上的不足，尤其是固定模态输入和大量参数更新的问题。

核心思路：CREMA框架通过模块化设计，允许灵活整合多种模态，利用传感器和预训练模型增强视频信息，进而提升推理能力。

技术框架：CREMA的整体架构包括多个模块，首先通过传感器获取多模态数据，然后使用查询变换器将不同模态特征映射到LLM令牌嵌入空间，最后通过轻量级融合模块进行信息压缩和处理。

关键创新：CREMA的主要创新在于其模块化的模态融合设计和渐进式训练策略，使得模型能够高效整合多种模态并保持计算效率，这是与现有方法的本质区别。

关键设计：在设计中，采用了多个参数高效模块和轻量级融合模块，确保在不同模态之间的有效信息压缩，同时保持较低的计算开销。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在7个视频语言推理任务中，CREMA的表现与现有强大多模态LLM（如OneLLM、BLIP-2和SeViLA）相当，同时减少了超过90%的可训练参数，展现出显著的效率提升。

🎯 应用场景

CREMA框架在视频理解、智能监控、自动驾驶等领域具有广泛的应用潜力。通过灵活整合多种模态数据，能够提升系统在复杂环境下的推理能力，进而推动相关技术的发展与应用。

📄 摘要（原文）

Despite impressive advancements in recent multimodal reasoning approaches, they are still limited in flexibility and efficiency, as these models typically process only a few fixed modality inputs and require updates to numerous parameters. This paper tackles these critical challenges and proposes CREMA, a generalizable, highly efficient, and modular modality-fusion framework that can incorporate any new modality to enhance video reasoning. We first augment multiple informative modalities (such as optical flow, 3D point cloud, audio, thermal heatmap, and touch map) from given videos without extra human annotation by leveraging sensors or existing pre-trained models. Next, we introduce a query transformer with multiple parameter-efficient modules associated with each accessible modality. It projects diverse modality features to the LLM token embedding space, allowing the model to integrate different data types for response generation. Furthermore, we propose a novel progressive multimodal fusion design supported by a lightweight fusion module and modality-sequential training strategy. It helps compress information across various assisting modalities, maintaining computational efficiency in the LLM while improving performance. We validate our method on 7 video-language reasoning tasks assisted by diverse modalities, including conventional VideoQA and Video-Audio/3D/Touch/Thermal QA, and achieve better/equivalent performance against strong multimodal LLMs, including OneLLM, BLIP-2, and SeViLA while reducing over 90% trainable parameters. We provide extensive analyses of CREMA, including the impact of each modality on reasoning domains, the design of the fusion module, and example visualizations.