Selective Reflection-Tuning: Student-Selected Data Recycling for LLM Instruction-Tuning

📄 arXiv: 2402.10110v2 📥 PDF

作者: Ming Li, Lichang Chen, Jiuhai Chen, Shwai He, Jiuxiang Gu, Tianyi Zhou

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-02-15 (更新: 2024-06-07)

备注: ACL2024 (findings), Camera-ready

💡 一句话要点

提出选择性反射调优以提升LLM指令调优数据质量

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 指令调优 大型语言模型 数据选择 教师-学生模型 数据增强 性能提升 自我提升

📋 核心要点

  1. 现有指令调优方法往往忽视数据与学生模型的兼容性，导致训练效果不佳。
  2. 提出选择性反射调优，通过教师模型的反思与学生模型的数据选择能力，自动优化指令调优数据。
  3. 在Alpaca和WizardLM数据集上应用该方法，显著提升了7B和13B LLMs的性能，达到顶尖水平。

📝 摘要（中文）

指令调优对大型语言模型（LLMs）的指令遵循和任务适应能力至关重要，但其成功依赖于训练数据的质量。许多现有方法专注于提高数据质量，却往往忽视了与学生模型的兼容性。本文提出选择性反射调优，这是一种新颖的范式，通过教师LLM的反思与内省，结合学生LLM的数据选择能力，自动优化现有的指令调优数据。这种教师-学生协作生成高质量且兼容的指令-响应对，实现了样本高效的指令调优，提升了LLMs的性能。选择性反射调优是一种数据增强与合成方法，能够在不收集新数据的情况下普遍改善LLM的微调与自我提升。我们将该方法应用于Alpaca和WizardLM数据，取得了更强的7B和13B LLMs。

🔬 方法详解

问题定义：本论文旨在解决现有指令调优方法在数据质量与学生模型兼容性方面的不足。许多方法专注于提升数据质量，但未能考虑如何使数据与特定模型更好地匹配。

核心思路：选择性反射调优的核心思想是结合教师模型的反思能力与学生模型的数据选择能力，自动优化现有的指令调优数据。这种方法通过教师-学生协作，生成高质量且兼容的指令-响应对，从而提高指令调优的效率和效果。

技术框架：该方法的整体架构包括教师模型和学生模型两个主要模块。教师模型负责反思和评估现有数据的质量，而学生模型则根据自身的特性选择最适合的数据进行训练。整个流程包括数据评估、选择和生成高质量的指令-响应对。

关键创新：选择性反射调优的创新之处在于其教师-学生协作机制，通过教师模型的反思能力来提升数据质量，同时确保生成的数据与学生模型的兼容性。这一方法与传统的数据增强方法有本质区别，后者通常不考虑模型的特性。

关键设计：在实现过程中，关键设计包括教师模型的反思算法、学生模型的数据选择策略，以及优化损失函数的设置。这些设计确保了生成的数据不仅质量高，而且与学生模型的训练需求高度一致。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，选择性反射调优在Alpaca和WizardLM数据集上显著提升了7B和13B LLMs的性能，达到顶尖水平。与基线模型相比，性能提升幅度明显，展示了该方法在样本效率和模型适应性方面的优势。

🎯 应用场景

该研究的潜在应用场景包括教育、客服、内容生成等领域，能够显著提升大型语言模型在特定任务中的表现。通过优化指令调优数据，模型能够更好地适应用户需求，提升交互体验。未来，该方法可能推动更多基于LLM的应用开发，促进智能系统的普及与应用。

📄 摘要（原文）

Instruction tuning is critical to large language models (LLMs) for achieving better instruction following and task adaptation capabilities but its success heavily relies on the training data quality. Many recent methods focus on improving the data quality but often overlook the compatibility of the data with the student model being finetuned. This paper introduces Selective Reflection-Tuning, a novel paradigm that synergizes a teacher LLM's reflection and introspection for improving existing data quality with the data selection capability of the student LLM, to automatically refine existing instruction-tuning data. This teacher-student collaboration produces high-quality and student-compatible instruction-response pairs, resulting in sample-efficient instruction tuning and LLMs of superior performance. Selective Reflection-Tuning is a data augmentation and synthesis that generally improves LLM finetuning and self-improvement without collecting brand-new data. We apply our method to Alpaca and WizardLM data and achieve much stronger and top-tier 7B and 13B LLMs.