LIMIT: Less Is More for Instruction Tuning Across Evaluation Paradigms

📄 arXiv: 2311.13133v1 📥 PDF

作者: Aditi Jha, Sam Havens, Jeremy Dohmann, Alex Trott, Jacob Portes

分类: cs.LG, cs.AI, cs.CL

发布日期: 2023-11-22

备注: 36 pages, 12 figures, NeurIPS 2023 Workshop on Instruction Tuning and Instruction Following

💡 一句话要点

提出LIMIT方法以优化指令调优效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 指令调优 小规模数据集 大型语言模型 自然语言处理 模型评估

📋 核心要点

  1. 现有方法通常依赖于大规模数据集进行微调，缺乏对小规模高质量数据集有效性的研究。
  2. 论文提出通过少量多样化的微调样本来提升模型在不同评估范式上的表现，探索数据集规模的影响。
  3. 实验结果表明，使用1k-6k样本的微调能够在传统NLP基准和模型评估上实现显著的性能提升。

📝 摘要（中文）

大型语言模型通常在大规模指令数据集上进行微调。然而，最近的研究表明，小规模高质量数据集也足以满足通用指令跟随的需求。本研究探讨了少量多样化的微调样本是否能提升在传统困惑度基础的NLP基准和开放式模型评估上的表现。我们对开源的MPT-7B和MPT-30B模型进行了不同规模（从1k到60k样本）的指令微调，发现1k-6k样本的子集能够在两种评估方式上实现良好的性能。最后，我们展示了混合教科书式和开放式问答微调数据集能够优化两种评估范式的表现。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在微调过程中对大规模数据集的依赖问题。现有方法往往需要大量数据，而小规模高质量数据集的有效性尚未得到充分验证。

核心思路：论文的核心思路是探讨少量多样化的微调样本是否能够提升模型在不同评估范式上的性能，尤其是在传统NLP基准和开放式模型评估中。通过对比不同规模的数据集，验证小规模数据集的有效性。

技术框架：研究中使用了开源的MPT-7B和MPT-30B模型，进行了从1k到60k样本规模的指令微调。整体流程包括数据集的准备、模型的微调和性能评估，涵盖了传统困惑度评估和开放式模型评估两种范式。

关键创新：本研究的主要创新在于提出了使用小规模多样化数据集进行微调的有效性，挑战了传统依赖大规模数据集的观点。通过实验证明，少量样本也能实现良好的性能，尤其是在不同评估方式下的表现。

关键设计：在微调过程中，选择了1k-6k样本的子集进行实验，采用了混合教科书式和开放式问答数据集的策略，以优化模型在两种评估范式上的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用1k-6k样本的微调能够在传统NLP基准和模型评估上实现显著的性能提升，具体表现为在多个基准测试中，模型的困惑度和准确率均有明显改善，验证了小规模高质量数据集的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和对话生成等。通过优化指令调优的方式，可以在资源有限的情况下提升模型的性能，具有重要的实际价值和广泛的应用前景，尤其是在需要快速迭代和高效训练的场景中。

📄 摘要（原文）

Large Language Models are traditionally finetuned on large instruction datasets. However recent studies suggest that small, high-quality datasets can suffice for general purpose instruction following. This lack of consensus surrounding finetuning best practices is in part due to rapidly diverging approaches to LLM evaluation. In this study, we ask whether a small amount of diverse finetuning samples can improve performance on both traditional perplexity-based NLP benchmarks, and on open-ended, model-based evaluation. We finetune open-source MPT-7B and MPT-30B models on instruction finetuning datasets of various sizes ranging from 1k to 60k samples. We find that subsets of 1k-6k instruction finetuning samples are sufficient to achieve good performance on both (1) traditional NLP benchmarks and (2) model-based evaluation. Finally, we show that mixing textbook-style and open-ended QA finetuning datasets optimizes performance on both evaluation paradigms.