TextSquare: Scaling up Text-Centric Visual Instruction Tuning

📄 arXiv: 2404.12803v3 📥 PDF

作者: Jingqun Tang, Chunhui Lin, Zhen Zhao, Shu Wei, Binghong Wu, Qi Liu, Yangfan He, Kuan Lu, Hao Feng, Yang Li, Siqi Wang, Lei Liao, Wei Shi, Yuliang Liu, Hao Liu, Yuan Xie, Xiang Bai, Can Huang

分类: cs.CV, cs.LG

发布日期: 2024-04-19 (更新: 2025-06-11)

💡 一句话要点

提出TextSquare以提升文本中心视觉问答的性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉问答 多模态学习 指令调优 数据集构建 模型性能提升

📋 核心要点

  1. 现有的文本中心视觉问答模型在性能上仍落后于顶尖闭源模型，缺乏高质量的指令调优数据。
  2. 本文提出了一种新方法，通过闭源MLLMs生成大规模高质量的指令调优数据集Square-10M，提升模型性能。
  3. 实验结果显示，TextSquare在多个基准测试中超越了开源模型，并在VQA推理数据上显著提高了准确性，减少了幻觉现象。

📝 摘要（中文）

文本中心的视觉问答（VQA）在多模态大型语言模型（MLLMs）的发展下取得了显著进展，但开源模型仍然无法与GPT4V和Gemini等领先模型相媲美，部分原因在于缺乏大量高质量的指令调优数据。为此，本文提出了一种生成大规模高质量指令调优数据集Square-10M的新方法，该数据集通过闭源的MLLMs生成。实验结果表明，TextSquare模型在多个文本中心基准测试中超越了开源的最新模型，并在六个基准上超越了顶尖模型，验证了数据集规模和质量的重要性。

🔬 方法详解

问题定义：本文旨在解决文本中心视觉问答（VQA）模型在性能上与闭源模型的差距，现有方法缺乏足够的高质量指令调优数据，导致模型效果不佳。

核心思路：提出Square-10M数据集，通过闭源MLLMs生成高质量的指令调优数据，采用自问自答、推理和评估的四步流程，旨在提升模型的推理能力和准确性。

技术框架：整体架构包括数据生成的四个主要模块：自问自答（Self-Questioning）、回答（Answering）、推理（Reasoning）和评估（Evaluation），每个模块相互关联，共同构建高质量的数据集。

关键创新：最重要的创新在于通过闭源MLLMs生成大规模高质量的指令调优数据，验证了数据集规模与模型性能之间的正相关关系，显著提升了模型在文本中心任务中的表现。

关键设计：在数据生成过程中，采用了特定的参数设置和损失函数，确保生成的数据不仅数量庞大，而且质量高，能够有效支持模型的训练与推理。具体的网络结构和调优策略在实验中进行了详细验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，TextSquare在OCRBench上达到了62.2%的新标准，并在10个文本中心基准中的6个上超越了GPT4V和Gemini等顶尖模型。TextSquare在四个通用VQA和幻觉评估数据集上的平均得分为75.1%，显著优于之前的最新模型，验证了数据集规模和质量的重要性。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、教育辅助工具和信息检索等。通过提升文本中心视觉问答的性能，能够更好地满足用户在复杂场景下的信息需求，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Text-centric visual question answering (VQA) has made great strides with the development of Multimodal Large Language Models (MLLMs), yet open-source models still fall short of leading models like GPT4V and Gemini, partly due to a lack of extensive, high-quality instruction tuning data. To this end, we introduce a new approach for creating a massive, high-quality instruction-tuning dataset, Square-10M, which is generated using closed-source MLLMs. The data construction process, termed Square, consists of four steps: Self-Questioning, Answering, Reasoning, and Evaluation. Our experiments with Square-10M led to three key findings: 1) Our model, TextSquare, considerably surpasses open-source previous state-of-the-art Text-centric MLLMs and sets a new standard on OCRBench(62.2%). It even outperforms top-tier models like GPT4V and Gemini in 6 of 10 text-centric benchmarks. 2) Additionally, we demonstrate the critical role of VQA reasoning data in offering comprehensive contextual insights for specific questions. This not only improves accuracy but also significantly mitigates hallucinations. Specifically, TextSquare scores an average of 75.1% across four general VQA and hallucination evaluation datasets, outperforming previous state-of-the-art models. 3) Notably, the phenomenon observed in scaling text-centric VQA datasets reveals a vivid pattern: the exponential increase of instruction tuning data volume is directly proportional to the improvement in model performance, thereby validating the necessity of the dataset scale and the high quality of Square-10M.