CoachLM: Automatic Instruction Revisions Improve the Data Quality in LLM Instruction Tuning

📄 arXiv: 2311.13246v2 📥 PDF

作者: Yilun Liu, Shimin Tao, Xiaofeng Zhao, Ming Zhu, Wenbing Ma, Junhao Zhu, Chang Su, Yutai Hou, Miao Zhang, Min Zhang, Hongxia Ma, Li Zhang, Hao Yang, Yanfei Jiang

分类: cs.CL

发布日期: 2023-11-22 (更新: 2024-03-21)

备注: Accepted by ICDE 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出CoachLM以解决LLM指令数据集质量问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 指令调优 数据集质量 自动修订 语言学习模型 自然语言处理

📋 核心要点

  1. 现有方法在保证LLM指令数据集质量时，往往需要过滤大量样本，导致数据集完整性受损。
  2. 本文提出CoachLM，通过自动修订数据集中的样本，提升指令数据集的质量，而不是简单丢弃低质量样本。
  3. 实验结果表明，CoachLM使指令调优的LLM的指令跟随能力平均提高29.9%，并在华为的实际应用中提升了数据清理效率。

📝 摘要（中文）

指令调优对于语言学习模型（LLMs）响应人类指令至关重要，而用于调优的指令对的质量直接影响LLMs的性能。然而，手动创建高质量指令数据集成本高昂，因此自动生成指令对成为一种流行的替代方案。现有方法往往通过过滤大量样本来保证数据集质量，导致数据集完整性受损。本文提出CoachLM，通过对数据集中样本进行自动修订，显著提高高质量样本的比例，从17.7%提升至78.9%。在多个真实世界指令测试集上的评估结果显示，CoachLM使指令调优的LLM的指令跟随能力平均提高29.9%，甚至超过参数量几乎是其两倍的更大LLM。此外，CoachLM已成功应用于华为的LLM数据管理系统，清理40k真实世界指令对的效率提升达20%。

🔬 方法详解

问题定义：本文旨在解决现有指令数据集生成方法在保证数据质量时，常常需要丢弃大量样本的问题，导致数据集的完整性和有效性受到影响。

核心思路：提出CoachLM，通过对低质量样本进行自动修订，提升数据集的整体质量，避免了简单的样本过滤，从而保留更多有价值的信息。

技术框架：CoachLM的整体架构包括数据样本的自动修订模块和基于人类专家修订样本的训练模块。首先，系统会对原始数据集进行分析，识别出低质量样本，然后通过修订算法对这些样本进行改进，最后将修订后的样本与原始样本结合，形成新的高质量数据集。

关键创新：CoachLM的核心创新在于其自动修订机制，能够有效提升数据集的高质量样本比例，与现有方法相比，避免了大量样本的丢弃，从而提高了数据集的完整性和有效性。

关键设计：在设计中，CoachLM使用了特定的修订算法，结合了人类专家的反馈，确保修订后的样本在语义和结构上都符合高质量标准。此外，损失函数的设计也考虑了样本的多样性和代表性，以保证生成的数据集能够更好地服务于LLM的训练需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CoachLM显著提高了指令调优的LLM的指令跟随能力，平均提升29.9%。此外，在华为的实际应用中，CoachLM在清理40k真实世界指令对时，效率提升达20%，展现了其在工业应用中的有效性。

🎯 应用场景

CoachLM的研究成果在多个领域具有广泛的应用潜力，尤其是在自然语言处理和人工智能助手的开发中。通过提升指令数据集的质量，LLMs能够更准确地理解和响应用户指令，从而提高用户体验。此外，CoachLM的自动修订机制可应用于其他数据集的质量提升，具有重要的实际价值和未来影响。

📄 摘要（原文）

Instruction tuning is crucial for enabling Language Learning Models (LLMs) in responding to human instructions. The quality of instruction pairs used for tuning greatly affects the performance of LLMs. However, the manual creation of high-quality instruction datasets is costly, leading to the adoption of automatic generation of instruction pairs by LLMs as a popular alternative. To ensure the high quality of LLM-generated instruction datasets, several approaches have been proposed. Nevertheless, existing methods either compromise dataset integrity by filtering a large proportion of samples, or are unsuitable for industrial applications. In this paper, instead of discarding low-quality samples, we propose CoachLM, a novel approach to enhance the quality of instruction datasets through automatic revisions on samples in the dataset. CoachLM is trained from the samples revised by human experts and significantly increases the proportion of high-quality samples in the dataset from 17.7% to 78.9%. The effectiveness of CoachLM is further assessed on various real-world instruction test sets. The results show that CoachLM improves the instruction-following capabilities of the instruction-tuned LLM by an average of 29.9%, which even surpasses larger LLMs with nearly twice the number of parameters. Furthermore, CoachLM is successfully deployed in a data management system for LLMs at Huawei, resulting in an efficiency improvement of up to 20% in the cleaning of 40k real-world instruction pairs. We release various assets of CoachLM, including the training data, code and test set (https://github.com/lunyiliu/CoachLM).