TableLlama: Towards Open Large Generalist Models for Tables

📄 arXiv: 2311.09206v3 📥 PDF

作者: Tianshu Zhang, Xiang Yue, Yifei Li, Huan Sun

分类: cs.CL, cs.AI, cs.DB

发布日期: 2023-11-15 (更新: 2024-04-04)

备注: NAACL 2024 long paper

💡 一句话要点

提出TableLlama以解决表格任务的通用性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格处理 大型语言模型 开放源代码 数据集构建 模型微调

📋 核心要点

  1. 现有方法通常依赖于特定表格类型的预训练，限制了模型的通用性和适用范围。
  2. 本文提出TableLlama，通过在TableInstruct数据集上进行微调，旨在提升模型对多样化表格任务的处理能力。
  3. 在7个领域内任务中，TableLlama的表现与现有最先进技术相当或更优，并在6个领域外数据集上实现了5-44的绝对点提升。

📝 摘要（中文）

半结构化表格在各个领域中普遍存在，自动解释、增强和查询表格的任务也日益增多。然而，现有方法通常需要在特定表格上进行预训练或采用特殊模型架构，限制了其适用性。本文首次提出了开放源代码的大型语言模型TableLlama，旨在作为多样化表格任务的通用模型。为此，我们构建了TableInstruct数据集，包含多种现实表格和任务，用于指令调优和评估LLM。通过对Llama 2 (7B)进行LongLoRA微调，我们在多个任务上取得了优于现有最先进技术的性能，并展示了模型的广泛适应性。我们将数据集和训练模型开源，以促进未来的研究。

🔬 方法详解

问题定义：本文旨在解决现有表格任务模型的通用性不足问题，现有方法往往依赖于特定表格类型的预训练，限制了其适用性和灵活性。

核心思路：我们提出了TableLlama，作为开放源代码的通用大型语言模型，通过在TableInstruct数据集上进行微调，增强模型对多样化表格任务的适应能力。

技术框架：整体架构包括数据集构建、模型微调和评估三个主要阶段。首先构建TableInstruct数据集，然后对Llama 2进行LongLoRA微调，最后在多个任务上进行评估。

关键创新：TableLlama是首个开放源代码的通用表格模型，突破了以往模型对特定表格类型的依赖，展现了更强的适应性和通用性。

关键设计：在微调过程中，我们采用了LongLoRA技术以应对长上下文问题，同时在损失函数和训练参数设置上进行了优化，以提升模型在多样化任务上的表现。

📊 实验亮点

在7个领域内任务中，TableLlama的表现与现有最先进技术相当或更优，尤其在6个领域外数据集上实现了5-44的绝对点提升，显示出其在多样化任务上的优越性和广泛适应性。

🎯 应用场景

该研究的潜在应用领域包括数据分析、信息检索和智能问答等。通过提供一个通用的表格处理模型，TableLlama能够帮助各行业的用户更高效地处理和分析数据，提升决策支持能力。未来，该模型的开源将促进更多创新应用的开发。

📄 摘要（原文）

Semi-structured tables are ubiquitous. There has been a variety of tasks that aim to automatically interpret, augment, and query tables. Current methods often require pretraining on tables or special model architecture design, are restricted to specific table types, or have simplifying assumptions about tables and tasks. This paper makes the first step towards developing open-source large language models (LLMs) as generalists for a diversity of table-based tasks. Towards that end, we construct TableInstruct, a new dataset with a variety of realistic tables and tasks, for instruction tuning and evaluating LLMs. We further develop the first open-source generalist model for tables, TableLlama, by fine-tuning Llama 2 (7B) with LongLoRA to address the long context challenge. We experiment under both in-domain setting and out-of-domain setting. On 7 out of 8 in-domain tasks, TableLlama achieves comparable or better performance than the SOTA for each task, despite the latter often has task-specific design. On 6 out-of-domain datasets, it achieves 5-44 absolute point gains compared with the base model, showing that training on TableInstruct enhances the model's generalizability. We open-source our dataset and trained model to boost future work on developing open generalist models for tables.