MoAI: Mixture of All Intelligence for Large Language and Vision Models
作者: Byung-Kwan Lee, Beomchan Park, Chae Won Kim, Yong Man Ro
分类: cs.CV
发布日期: 2024-03-12 (更新: 2024-07-17)
备注: ECCV 2024. Code available: https://github.com/ByungKwanLee/MoAI
💡 一句话要点
提出MoAI以提升视觉语言模型的场景理解能力
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
📋 核心要点
- 现有的LLVM在视觉感知任务中未能充分利用专门CV模型提供的真实场景理解，导致性能不足。
- 本文提出MoAI，通过整合外部CV模型的输出，提升视觉语言任务的效果，采用了MoAI-Compressor和MoAI-Mixer两个新模块。
- MoAI在多个零-shot视觉语言任务中表现优异，尤其在物体存在、位置、关系和OCR等任务上，显著超越了现有的LLVM。
- method_zh
- 问题定义：现有的LLVM在视觉感知任务中未能充分利用来自专门计算机视觉模型的详细场景理解，导致在物体检测、分割等任务中的表现不佳。\n\n核心思路：本文提出的MoAI通过引入外部CV模型的辅助视觉信息，结合语言特征，提升了视觉语言模型的理解能力，特别是在真实场景理解方面。\n\n技术框架：MoAI的整体架构包括两个主要模块：MoAI-Compressor用于对外部CV模型的输出进行对齐和压缩，MoAI-Mixer则融合视觉特征、辅助特征和语言特征，利用专家混合的概念。\n\n关键创新：MoAI的核心创新在于通过整合外部CV模型的输出，显著提升了LLVM在视觉语言任务中的表现，而无需增加模型规模或额外的数据集。\n\n关键设计：在设计中，MoAI-Compressor负责将外部模型的输出转化为可用的格式，而MoAI-Mixer则通过混合不同类型的特征来增强模型的表现，具体的参数设置和损失函数设计尚未详细披露。
- application_zh
- 该研究具有广泛的应用潜力，尤其在自动驾驶、智能监控、增强现实等领域，通过提升视觉语言模型的场景理解能力，可以实现更智能的决策支持和人机交互。未来，MoAI可能推动多模态学习的进一步发展，促进更复杂任务的解决。
- highlight_zh
- 在多个零-shot视觉语言任务中，MoAI显著超越了现有的开源和闭源LLVM，尤其在物体存在、位置、关系和OCR等任务上，提升幅度达到XX%（具体数据待补充）。
- tags_zh
- ['视觉语言模型', '多模态学习', '计算机视觉', '场景理解', '深度学习']
📝 摘要（中文）
随着大型语言模型（LLMs）和指令调优的兴起，指令调优的大型语言和视觉模型（LLVMs）逐渐成为趋势。然而，现有的LLVMs在视觉感知任务中忽视了来自专门计算机视觉（CV）模型的详细和全面的真实场景理解。为此，本文提出了一种新的LLVM，称为Mixture of All Intelligence（MoAI），它利用外部分割、检测、场景图生成（SGG）和光学字符识别（OCR）模型的辅助视觉信息。MoAI通过两个新模块：MoAI-Compressor和MoAI-Mixer进行操作，显著提升了在多个零-shot视觉语言任务中的表现，尤其是在与真实场景理解相关的任务上，而无需扩大模型规模或额外策划视觉指令调优数据集。
🖼️ 关键图片
📄 摘要（原文）
The rise of large language models (LLMs) and instruction tuning has led to the current trend of instruction-tuned large language and vision models (LLVMs). This trend involves either meticulously curating numerous instruction tuning datasets tailored to specific objectives or enlarging LLVMs to manage vast amounts of vision language (VL) data. However, current LLVMs have disregarded the detailed and comprehensive real-world scene understanding available from specialized computer vision (CV) models in visual perception tasks such as segmentation, detection, scene graph generation (SGG), and optical character recognition (OCR). Instead, the existing LLVMs rely mainly on the large capacity and emergent capabilities of their LLM backbones. Therefore, we present a new LLVM, Mixture of All Intelligence (MoAI), which leverages auxiliary visual information obtained from the outputs of external segmentation, detection, SGG, and OCR models. MoAI operates through two newly introduced modules: MoAI-Compressor and MoAI-Mixer. After verbalizing the outputs of the external CV models, the MoAI-Compressor aligns and condenses them to efficiently use relevant auxiliary visual information for VL tasks. MoAI-Mixer then blends three types of intelligence (1) visual features, (2) auxiliary features from the external CV models, and (3) language features by utilizing the concept of Mixture of Experts. Through this integration, MoAI significantly outperforms both open-source and closed-source LLVMs in numerous zero-shot VL tasks, particularly those related to real-world scene understanding such as object existence, positions, relations, and OCR without enlarging the model size or curating extra visual instruction tuning datasets.