Synthetic Data (Almost) from Scratch: Generalized Instruction Tuning for Language Models

📄 arXiv: 2402.13064v1 📥 PDF

作者: Haoran Li, Qingxiu Dong, Zhengyang Tang, Chaojun Wang, Xingxing Zhang, Haoyang Huang, Shaohan Huang, Xiaolong Huang, Zeqiang Huang, Dongdong Zhang, Yuxian Gu, Xin Cheng, Xun Wang, Si-Qing Chen, Li Dong, Wei Lu, Zhifang Sui, Benyou Wang, Wai Lam, Furu Wei

分类: cs.CL

发布日期: 2024-02-20

备注: Work in progress

💡 一句话要点

提出GLAN方法以生成大规模合成指令数据

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 合成数据 指令调优 知识分类法 大型语言模型 教育技术 个性化学习 人工智能助手

📋 核心要点

  1. 现有的指令调优方法依赖于种子示例或现有数据集，限制了其适用性和扩展性。
  2. GLAN通过构建人类知识和能力的分类法，生成大规模合成指令数据，避免了对现有数据的依赖。
  3. 实验结果显示，GLAN在多个任务上超越了基线模型，展现出优异的性能和广泛的适用性。

📝 摘要（中文）

我们提出了一种通用且可扩展的指令调优方法——广义指令调优（GLAN），该方法不依赖于种子示例或现有数据集，而是利用预先整理的人类知识和能力分类法生成大规模合成指令数据。通过半自动化的方式，我们将人类知识分解为多个领域和学科，进而生成每个学科的课程大纲，并详细列出每节课的关键概念。大量实验表明，GLAN在数学推理、编程、学术考试、逻辑推理等多个维度上表现优异，且无需使用特定任务的训练数据。此外，GLAN的设计允许通过简单地将新节点纳入分类法来轻松定制和扩展新领域或技能。

🔬 方法详解

问题定义：本论文旨在解决现有指令调优方法对种子示例和现有数据集的依赖问题，这限制了其在不同领域的应用和扩展性。

核心思路：GLAN的核心思想是利用预先整理的人类知识分类法，生成合成指令数据，从而实现大规模的指令调优。通过这种方式，GLAN能够覆盖更广泛的知识领域，满足不同任务的需求。

技术框架：GLAN的整体架构包括知识分类法的构建、学科课程大纲的设计以及基于课程大纲生成指令的过程。首先，利用大型语言模型（LLMs）半自动化地构建知识分类法，然后为每个学科设计课程大纲，最后生成多样化的指令。

关键创新：GLAN的主要创新在于其完全依赖于知识分类法生成合成数据，而非传统方法中的种子示例。这一设计使得GLAN能够灵活适应不同领域的需求，具有更好的扩展性。

关键设计：在技术细节上，GLAN采用了细致的课程设计，确保每节课涵盖关键概念，并通过LLMs生成指令。此外，GLAN的分类法设计允许通过简单添加新节点来扩展新领域或技能。

🖼️ 关键图片

fig_0

📊 实验亮点

在对大型语言模型（如Mistral）的实验中，GLAN在数学推理、编程、学术考试和逻辑推理等任务上均表现优异，显著超越了基线模型，展示了其在指令跟随能力上的广泛适用性和强大性能。

🎯 应用场景

GLAN方法在教育、培训和人工智能助手等多个领域具有广泛的应用潜力。通过生成合成指令数据，GLAN能够为不同学科的学习者提供个性化的学习体验，提升教育资源的可获取性和多样性。此外，该方法的灵活性使得其能够快速适应新兴领域的需求，推动知识的传播与应用。

📄 摘要（原文）

We introduce Generalized Instruction Tuning (called GLAN), a general and scalable method for instruction tuning of Large Language Models (LLMs). Unlike prior work that relies on seed examples or existing datasets to construct instruction tuning data, GLAN exclusively utilizes a pre-curated taxonomy of human knowledge and capabilities as input and generates large-scale synthetic instruction data across all disciplines. Specifically, inspired by the systematic structure in human education system, we build the taxonomy by decomposing human knowledge and capabilities to various fields, sub-fields and ultimately, distinct disciplines semi-automatically, facilitated by LLMs. Subsequently, we generate a comprehensive list of subjects for every discipline and proceed to design a syllabus tailored to each subject, again utilizing LLMs. With the fine-grained key concepts detailed in every class session of the syllabus, we are able to generate diverse instructions with a broad coverage across the entire spectrum of human knowledge and skills. Extensive experiments on large language models (e.g., Mistral) demonstrate that GLAN excels in multiple dimensions from mathematical reasoning, coding, academic exams, logical reasoning to general instruction following without using task-specific training data of these tasks. In addition, GLAN allows for easy customization and new fields or skills can be added by simply incorporating a new node into our taxonomy.