Chart-based Reasoning: Transferring Capabilities from LLMs to VLMs

📄 arXiv: 2403.12596v1 📥 PDF

作者: Victor Carbune, Hassan Mansoor, Fangyu Liu, Rahul Aralikatte, Gilles Baechler, Jindong Chen, Abhanshu Sharma

分类: cs.CL

发布日期: 2024-03-19

备注: Findings of NAACL 2024

💡 一句话要点

提出图表推理技术以提升视觉语言模型的推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 推理能力 多模态任务 数据集扩展 合成推理轨迹 多任务损失 图表表示 大型语言模型

📋 核心要点

  1. 现有的视觉语言模型在推理能力上仍显不足，尤其是小型模型的表现不佳。
  2. 本文提出了一种将大型语言模型的能力转移至视觉语言模型的新方法，旨在提升推理能力。
  3. 实验结果表明，ChartPaLI-5B在多项任务上超越了更大规模的模型，且推理时间保持不变。

📝 摘要（中文）

视觉语言模型（VLMs）在多模态任务上表现越来越强，但推理能力仍然有限，尤其是对于较小的VLMs。本文提出了一种将大型语言模型（LLMs）能力转移至VLMs的技术。在最近推出的ChartQA上，我们的方法在PaLI3-5B VLM上取得了最先进的性能，同时在PlotQA和FigureQA上也显著提升。我们首先通过改进的图表到表格翻译任务继续预训练阶段，随后构建了一个比原始训练集大20倍的数据集。为了提升推理能力和数值运算，我们利用图表的表格表示合成推理轨迹。最后，模型使用多任务损失进行微调。我们的ChartPaLI-5B变体在不使用上游OCR系统的情况下，超越了10倍大的模型PaLIX-55B，并且在推理时间上与PaLI3-5B基线保持一致。经过简单的思维程序提示进一步优化后，我们的模型超越了最近推出的Gemini Ultra和GPT-4V。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型在推理能力上的不足，尤其是小型模型在多模态任务中的表现不佳。现有方法未能有效利用大型语言模型的优势。

核心思路：通过改进图表表示和数据集规模，结合合成推理轨迹，提升视觉语言模型的推理能力和数值运算能力。

技术框架：整体架构包括三个主要阶段：首先是改进的图表到表格翻译的预训练；其次是构建一个20倍于原始训练集的数据集；最后是使用多任务损失进行微调。

关键创新：最重要的创新在于通过合成推理轨迹和大规模数据集的结合，显著提升了模型的推理能力，与现有方法相比，能够更好地处理复杂的多模态任务。

关键设计：在模型设计中，采用了改进的损失函数和网络结构，确保在不增加推理时间的情况下，提升模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ChartPaLI-5B在ChartQA、PlotQA和FigureQA等任务上均取得了最先进的性能，超越了10倍大的PaLIX-55B模型，并在推理时间上与PaLI3-5B保持一致。此外，经过思维程序提示优化后，模型的表现进一步提升，超越了Gemini Ultra和GPT-4V。

🎯 应用场景

该研究的潜在应用领域包括数据分析、智能问答系统和多模态信息检索等。通过提升视觉语言模型的推理能力，可以更好地处理复杂的多模态数据，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Vision-language models (VLMs) are achieving increasingly strong performance on multimodal tasks. However, reasoning capabilities remain limited particularly for smaller VLMs, while those of large-language models (LLMs) have seen numerous improvements. We propose a technique to transfer capabilities from LLMs to VLMs. On the recently introduced ChartQA, our method obtains state-of-the-art performance when applied on the PaLI3-5B VLM by \citet{chen2023pali3}, while also enabling much better performance on PlotQA and FigureQA. We first improve the chart representation by continuing the pre-training stage using an improved version of the chart-to-table translation task by \citet{liu2023deplot}. We then propose constructing a 20x larger dataset than the original training set. To improve general reasoning capabilities and improve numerical operations, we synthesize reasoning traces using the table representation of charts. Lastly, our model is fine-tuned using the multitask loss introduced by \citet{hsieh2023distilling}. Our variant ChartPaLI-5B outperforms even 10x larger models such as PaLIX-55B without using an upstream OCR system, while keeping inference time constant compared to the PaLI3-5B baseline. When rationales are further refined with a simple program-of-thought prompt \cite{chen2023program}, our model outperforms the recently introduced Gemini Ultra and GPT-4V.