A Challenger to GPT-4V? Early Explorations of Gemini in Visual Expertise

📄 arXiv: 2312.12436v2 📥 PDF

作者: Chaoyou Fu, Renrui Zhang, Zihan Wang, Yubo Huang, Zhengye Zhang, Longtian Qiu, Gaoxiang Ye, Yunhang Shen, Mengdan Zhang, Peixian Chen, Sirui Zhao, Shaohui Lin, Deqiang Jiang, Di Yin, Peng Gao, Ke Li, Hongsheng Li, Xing Sun

分类: cs.CV, cs.AI, cs.CL, cs.MM

发布日期: 2023-12-19 (更新: 2023-12-20)

备注: Total 120 pages. See our project at https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models

🔗 代码/项目: GITHUB

💡 一句话要点

Gemini Pro在视觉理解能力上的初步探索：挑战GPT-4V的潜力评估

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 视觉理解 Gemini Pro GPT-4V 性能评估 对比分析 人工智能

📋 核心要点

  1. 现有MLLM在视觉理解方面取得了显著进展，但不同模型的能力边界和优缺点尚不清晰，需要更深入的对比评估。
  2. 本文通过对Gemini Pro进行多方面的视觉能力评估，并与GPT-4V和Sphinx进行对比，旨在揭示其在不同任务上的性能差异和潜在优势。
  3. 实验结果表明，Gemini Pro在视觉推理方面具有与GPT-4V相当的潜力，但在回答风格和领域泛化能力上存在差异，同时也暴露了MLLM的一些共性问题。

📝 摘要（中文）

多模态大型语言模型（MLLM）的兴起，例如OpenAI的GPT-4V(ision)，标志着学术界和工业界的一个重要趋势。它们赋予大型语言模型（LLM）强大的视觉理解能力，使其能够处理各种多模态任务。最近，谷歌发布了Gemini，这是其最新、功能最强大的MLLM，从一开始就为多模态而构建。鉴于其卓越的推理能力，Gemini能否挑战GPT-4V在多模态学习领域的领先地位？本文对Gemini Pro的视觉理解能力进行了初步探索，全面涵盖了四个领域：基本感知、高级认知、具有挑战性的视觉任务和各种专家能力。我们将Gemini Pro与最先进的GPT-4V进行比较，以评估其上限，同时与最新的开源MLLM Sphinx进行比较，揭示了人工努力与黑盒系统之间的差距。定性样本表明，虽然GPT-4V和Gemini表现出不同的回答风格和偏好，但它们可以表现出相当的视觉推理能力，而Sphinx在领域泛化方面仍然落后于它们。具体来说，GPT-4V倾向于详细阐述解释和中间步骤，而Gemini更喜欢输出直接而简洁的答案。在流行的MME基准上的定量评估也证明了Gemini成为GPT-4V强大挑战者的潜力。我们对Gemini的早期研究也观察到MLLM的一些常见问题，表明距离通用人工智能仍然有相当大的距离。我们用于跟踪MLLM进展的项目已在https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models上发布。

🔬 方法详解

问题定义：论文旨在评估谷歌最新多模态大语言模型Gemini Pro的视觉理解能力，并将其与OpenAI的GPT-4V以及开源模型Sphinx进行对比。现有方法缺乏对Gemini Pro的系统性评估，难以了解其在不同视觉任务上的表现和优劣势。

核心思路：论文通过构建一个全面的评估体系，涵盖基本感知、高级认知、挑战性视觉任务和专家能力四个领域，来考察Gemini Pro的视觉理解能力。通过定性和定量分析，比较Gemini Pro与GPT-4V和Sphinx的性能差异，从而评估Gemini Pro挑战GPT-4V的潜力。

技术框架：论文采用黑盒测试的方式，直接使用Gemini Pro的API接口进行评估。评估流程包括：1) 收集涵盖四个领域的视觉任务数据集；2) 将图像输入到Gemini Pro、GPT-4V和Sphinx；3) 分析模型的输出结果，进行定性比较和定量评估。

关键创新：论文的创新点在于对Gemini Pro进行了首次较为全面的视觉能力评估，并将其与GPT-4V和Sphinx进行了对比分析。这有助于了解Gemini Pro的优势和不足，为后续研究提供参考。

关键设计：论文的关键设计包括：1) 选择了涵盖不同难度和类型的视觉任务，以全面评估模型的视觉理解能力；2) 采用了定性和定量相结合的评估方法，以更深入地了解模型的性能表现；3) 对比了Gemini Pro、GPT-4V和Sphinx三种不同类型的模型，以揭示不同模型之间的差异。

📊 实验亮点

实验结果表明，Gemini Pro在MME基准测试上表现出与GPT-4V相当的潜力，但在回答风格上有所不同，Gemini Pro更倾向于简洁的答案。定性分析表明，GPT-4V在提供详细解释方面更胜一筹，而Sphinx在领域泛化能力上仍有差距。这些结果为进一步研究和改进多模态大语言模型提供了有价值的见解。

🎯 应用场景

该研究成果可应用于多模态大语言模型的性能评估和模型优化，为开发者提供选择和改进模型的参考依据。同时，对Gemini Pro的评估结果有助于推动多模态人工智能技术在图像理解、智能问答、机器人视觉等领域的应用。

📄 摘要（原文）

The surge of interest towards Multi-modal Large Language Models (MLLMs), e.g., GPT-4V(ision) from OpenAI, has marked a significant trend in both academia and industry. They endow Large Language Models (LLMs) with powerful capabilities in visual understanding, enabling them to tackle diverse multi-modal tasks. Very recently, Google released Gemini, its newest and most capable MLLM built from the ground up for multi-modality. In light of the superior reasoning capabilities, can Gemini challenge GPT-4V's leading position in multi-modal learning? In this paper, we present a preliminary exploration of Gemini Pro's visual understanding proficiency, which comprehensively covers four domains: fundamental perception, advanced cognition, challenging vision tasks, and various expert capacities. We compare Gemini Pro with the state-of-the-art GPT-4V to evaluate its upper limits, along with the latest open-sourced MLLM, Sphinx, which reveals the gap between manual efforts and black-box systems. The qualitative samples indicate that, while GPT-4V and Gemini showcase different answering styles and preferences, they can exhibit comparable visual reasoning capabilities, and Sphinx still trails behind them concerning domain generalizability. Specifically, GPT-4V tends to elaborate detailed explanations and intermediate steps, and Gemini prefers to output a direct and concise answer. The quantitative evaluation on the popular MME benchmark also demonstrates the potential of Gemini to be a strong challenger to GPT-4V. Our early investigation of Gemini also observes some common issues of MLLMs, indicating that there still remains a considerable distance towards artificial general intelligence. Our project for tracking the progress of MLLM is released at https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models.