OmniFusion Technical Report

📄 arXiv: 2404.06212v1 📥 PDF

作者: Elizaveta Goncharova, Anton Razzhigaev, Matvey Mikhalchuk, Maxim Kurkin, Irina Abdullaeva, Matvey Skripkin, Ivan Oseledets, Denis Dimitrov, Andrey Kuznetsov

分类: cs.CV, cs.AI, cs.LG

发布日期: 2024-04-09

备注: 17 pages, 4 figures, 9 tables, 2 appendices

🔗 代码/项目: GITHUB

💡 一句话要点

提出OmniFusion以提升多模态视觉与语言任务的性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 视觉语言处理 大型语言模型 图像编码 适配器设计 开源解决方案

📋 核心要点

  1. 现有的多模态模型在视觉与语言数据的耦合上存在不足，影响了任务的性能。
  2. OmniFusion模型通过结合预训练的LLM和视觉适配器，优化了文本与视觉数据的融合方式。
  3. 在8个视觉语言基准测试中，OmniFusion在VQA任务上取得了最佳成绩，超越了多个开源模型。

📝 摘要（中文）

去年，多模态架构在基于AI的方法和解决方案中引发了革命，扩展了大型语言模型（LLM）的能力。我们提出了一种基于预训练LLM和视觉模态适配器的OmniFusion模型。通过评估和比较多种架构设计原则，优化文本与视觉数据的耦合，实验结果显示OmniFusion在多个视觉语言基准测试中表现优异，尤其在VQA任务上超越了开源的LLaVA类解决方案。Mistral基础的OmniFusion模型是一个开源解决方案，相关代码和权重可在GitHub上获取。

🔬 方法详解

问题定义：论文旨在解决现有多模态模型在视觉与语言数据耦合方面的不足，导致任务性能不佳的问题。

核心思路：提出OmniFusion模型，通过结合预训练的LLM和视觉适配器，优化文本与视觉数据的融合，提升多模态任务的表现。

技术框架：OmniFusion模型包含多个模块，包括MLP和Transformer适配器、不同的CLIP ViT编码器（如SigLIP、InternVIT等）、图像编码方法（整幅图像或切片编码）以及两种7B LLM（专有模型和开源Mistral）。

关键创新：OmniFusion在视觉与语言数据的耦合上引入了新的设计原则，尤其是在适配器和编码器的选择上，显著提升了模型的性能。

关键设计：模型的设计包括多种参数设置和损失函数的优化，选择了适合的网络结构以实现最佳的视觉与语言融合效果。实验中使用了多种视觉语言基准测试，验证了模型的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在8个视觉语言基准测试中，OmniFusion模型在VQA任务上取得了最佳成绩，超越了开源的LLaVA类解决方案，显示出显著的性能提升，具体数据未详述。

🎯 应用场景

OmniFusion模型在多个领域具有广泛的应用潜力，包括家务管理、观光、文化、医学、手写和扫描方程的识别等。其高效的多模态融合能力可以为实际应用提供更为详细和准确的答案，推动相关领域的智能化发展。

📄 摘要（原文）

Last year, multimodal architectures served up a revolution in AI-based approaches and solutions, extending the capabilities of large language models (LLM). We propose an \textit{OmniFusion} model based on a pretrained LLM and adapters for visual modality. We evaluated and compared several architecture design principles for better text and visual data coupling: MLP and transformer adapters, various CLIP ViT-based encoders (SigLIP, InternVIT, etc.), and their fusing approach, image encoding method (whole image or tiles encoding) and two 7B LLMs (the proprietary one and open-source Mistral). Experiments on 8 visual-language benchmarks show the top score for the best OmniFusion setup in terms of different VQA tasks in comparison with open-source LLaVA-like solutions: VizWiz, Pope, MM-Vet, ScienceQA, MMBench, TextVQA, VQAv2, MMMU. We also propose a variety of situations, where OmniFusion provides highly-detailed answers in different domains: housekeeping, sightseeing, culture, medicine, handwritten and scanned equations recognition, etc. Mistral-based OmniFusion model is an open-source solution with weights, training and inference scripts available at https://github.com/AIRI-Institute/OmniFusion.