Constructing Multilingual Visual-Text Datasets Revealing Visual Multilingual Ability of Vision Language Models

📄 arXiv: 2406.15359v1 📥 PDF

作者: Jesse Atuhurra, Iqra Ali, Tatsuya Hiraoka, Hidetaka Kamigaito, Tomoya Iwakura, Taro Watanabe

分类: cs.CL, cs.CV

发布日期: 2024-03-29

💡 一句话要点

构建多语言视觉文本数据集以揭示视觉语言模型的多语言能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 多语言能力 数据集构建 推理合理性 人工智能评估

📋 核心要点

  1. 现有研究对视觉语言模型的多语言能力评估不足，缺乏系统性和全面性。
  2. 本文提出了九个视觉与语言任务，并构建了包含四种语言的新数据集，以支持多语言能力的分析。
  3. 实验结果表明，VLMs在新数据集上表现良好，尤其是在斯瓦希里语和乌尔都语的应用中，展示了显著的提升。

📝 摘要（中文）

随着大型语言模型（LLMs）对视觉语言模型（VLMs）的关注增加，研究者们开始探讨VLMs的视觉理解能力。然而，现有数据集无法全面评估VLMs在多语言环境下的细粒度视觉语言能力。为此，本文开发了新的数据集，以系统性和定性分析VLMs。主要贡献包括：引入九个视觉与语言任务，构建四种语言的多语言视觉文本数据集，提出新的任务“无关性”，引入推理过程的合理性，并通过人工评估测量数据集的适用性。研究表明，VLMs可以在我们的数据集上进行微调，且首次在斯瓦希里语和乌尔都语中进行此类分析。

🔬 方法详解

问题定义：本文旨在解决现有数据集无法全面评估视觉语言模型在多语言环境下的细粒度视觉语言能力的问题。现有方法缺乏系统性和多样性，限制了对VLMs的深入理解。

核心思路：通过构建多语言视觉文本数据集，结合九个视觉与语言任务，系统性地分析VLMs的多语言能力，特别是引入推理过程的合理性以增强人类理解。

技术框架：整体架构包括数据集构建、任务设计和评估三个主要模块。数据集构建通过模板生成问题和答案，任务设计涵盖对象识别、图像文本匹配等，评估则通过人工评估确保数据集的适用性。

关键创新：本文首次在斯瓦希里语和乌尔都语中进行VLMs的分析，并引入推理合理性作为评估标准，这在现有研究中尚属首次。

关键设计：数据集构建过程中，使用了包含问题的模板，并通过GPT-4V生成答案和推理，确保了数据集的多样性和质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，VLMs在新构建的数据集上表现出色，尤其是在斯瓦希里语和乌尔都语任务中，性能显著提升。通过引入推理合理性，研究为VLMs的评估提供了新的视角，进一步验证了模型的多语言能力。

🎯 应用场景

该研究的潜在应用领域包括多语言图像识别、跨文化信息检索和智能客服等。通过提升视觉语言模型的多语言能力，可以更好地服务于全球用户，推动人工智能在多语言环境中的应用与发展。

📄 摘要（原文）

Large language models (LLMs) have increased interest in vision language models (VLMs), which process image-text pairs as input. Studies investigating the visual understanding ability of VLMs have been proposed, but such studies are still preliminary because existing datasets do not permit a comprehensive evaluation of the fine-grained visual linguistic abilities of VLMs across multiple languages. To further explore the strengths of VLMs, such as GPT-4V \cite{openai2023GPT4}, we developed new datasets for the systematic and qualitative analysis of VLMs. Our contribution is four-fold: 1) we introduced nine vision-and-language (VL) tasks (including object recognition, image-text matching, and more) and constructed multilingual visual-text datasets in four languages: English, Japanese, Swahili, and Urdu through utilizing templates containing \textit{questions} and prompting GPT4-V to generate the \textit{answers} and the \textit{rationales}, 2) introduced a new VL task named \textit{unrelatedness}, 3) introduced rationales to enable human understanding of the VLM reasoning process, and 4) employed human evaluation to measure the suitability of proposed datasets for VL tasks. We show that VLMs can be fine-tuned on our datasets. Our work is the first to conduct such analyses in Swahili and Urdu. Also, it introduces \textit{rationales} in VL analysis, which played a vital role in the evaluation.