SmallToLarge (S2L): Scalable Data Selection for Fine-tuning Large Language Models by Summarizing Training Trajectories of Small Models

📄 arXiv: 2403.07384v2 📥 PDF

作者: Yu Yang, Siddhartha Mishra, Jeffrey N Chiang, Baharan Mirzasoleiman

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-03-12 (更新: 2024-12-05)

💡 一句话要点

提出SmallToLarge以提升大语言模型的微调数据选择效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 数据选择 监督微调 数学问题求解 临床文本摘要 训练轨迹 模型优化

📋 核心要点

  1. 现有方法在特定领域的监督微调中面临数据选择效率低下的问题，尤其是在复杂数据环境下。
  2. 本文提出的SmallToLarge（S2L）方法，通过小模型的训练轨迹来优化大模型的数据选择过程，从而提高数据利用率。
  3. 实验结果表明，S2L在多个基准测试中显著提升了模型性能，尤其是在数学问题求解和临床文本摘要任务中表现突出。

📝 摘要（中文）

尽管在大语言模型的预训练和指令微调阶段，数据选择的有效性已得到验证，但在特定领域的监督微调中，由于微调数据的复杂性，提升数据效率仍面临重大挑战。为此，本文提出了一种有效且可扩展的数据选择方法SmallToLarge（S2L），该方法利用小模型的训练轨迹来指导大模型的数据选择。通过大量实验，我们证明S2L在数学问题求解的监督微调中显著提高了数据效率，将训练数据减少至原MathInstruct数据集的11%，并在6个领域内外评估数据集上平均超越了最先进的数据选择算法4.7%。在最具挑战性的MATH基准上，仅选择50K数据，S2L的准确率达32.7%，比Phi-2提高了16.6%。在MIMIC-III数据集的临床文本摘要任务中，S2L同样在使用50%数据的情况下超越了全数据集训练的效果。

🔬 方法详解

问题定义：本文旨在解决在特定领域进行监督微调时，数据选择效率低下的问题。现有方法在处理复杂数据时，往往无法有效利用有限的数据资源。

核心思路：SmallToLarge（S2L）方法的核心思路是利用小模型的训练轨迹来指导大模型的数据选择，从而在保持性能的同时减少所需的训练数据量。通过这种方式，S2L能够在数据选择上实现更高的效率和效果。

技术框架：S2L的整体架构包括数据选择模块和训练模块。首先，通过小模型进行初步训练，获取其训练轨迹；然后，根据这些轨迹选择出对大模型微调最有价值的数据。最后，使用选定的数据对大模型进行微调。

关键创新：S2L的主要创新在于其能够使用一个比目标模型小40倍的参考模型进行数据选择，这种设计大幅降低了数据选择的成本，并提高了数据选择的效率。

关键设计：在S2L中，关键参数设置包括小模型的选择标准、数据选择的阈值，以及损失函数的设计。通过精细调整这些参数，S2L能够在不同任务中实现最佳性能。具体的网络结构设计则确保了小模型的训练轨迹能够有效指导大模型的数据选择过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，S2L在数学问题求解任务中，仅使用50K数据便达到了32.7%的准确率，比现有的Phi-2方法提高了16.6%。此外，在临床文本摘要任务中，S2L在使用50%数据的情况下，超越了全数据集训练的效果，展现了其强大的数据选择能力。

🎯 应用场景

该研究的潜在应用领域包括教育、医疗和科学研究等需要高效数据处理的场景。通过提升大语言模型的微调效率，S2L能够帮助研究人员和开发者在有限的数据资源下，快速构建高性能的模型，推动相关领域的技术进步。

📄 摘要（原文）

Despite the effectiveness of data selection for large language models (LLMs) during pretraining and instruction fine-tuning phases, improving data efficiency in supervised fine-tuning (SFT) for specialized domains poses significant challenges due to the complexity of fine-tuning data. To bridge this gap, we introduce an effective and scalable data selection method for SFT, SmallToLarge (S2L), which leverages training trajectories from small models to guide the data selection for larger models. We demonstrate through extensive experiments that S2L significantly improves data efficiency in SFT for mathematical problem-solving, reducing the training data to just 11% of the original MathInstruct dataset (Yue et al., 2023) to match full dataset performance while outperforming state-of-the-art data selection algorithms by an average of 4.7% across 6 in- and out-domain evaluation datasets. Remarkably, selecting only 50K data for SFT, S2L achieves a 32.7% accuracy on the most challenging MATH (Hendrycks et al., 2021) benchmark, improving Phi-2 (Li et al., 2023b) by 16.6%. In clinical text summarization on the MIMIC-III dataset (Johnson et al., 2016), S2L again outperforms training on the full dataset using only 50% of the data. Notably, S2L can perform data selection using a reference model 40x smaller than the target model, proportionally reducing the cost of data selection.