RECOST: External Knowledge Guided Data-efficient Instruction Tuning

📄 arXiv: 2402.17355v1 📥 PDF

作者: Qi Zhang, Yiming Zhang, Haobo Wang, Junbo Zhao

分类: cs.CL

发布日期: 2024-02-27

DOI: 10.18653/v1/2024.findings-acl.648

💡 一句话要点

提出RECOST以解决数据高依赖性的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 指令调优 外部知识 数据高效 样本选择 大型语言模型 机器学习 自然语言处理

📋 核心要点

  1. 现有的数据高效指令调优方法过于依赖原始数据集的质量，导致低质量样本的选择概率增加。
  2. 本文提出的RECOST框架通过外部知识评估合成样本，并结合重排序与多样性采样，提升了指令调优的效果。
  3. 实验结果表明，RECOST在多个合成数据集上表现优异，仅使用1%的数据集就实现了更好的性能。

📝 摘要（中文）

在当前大型语言模型（LLMs）的背景下，指令调优是一个重要步骤。为了减少训练数据的规模，提出了数据高效的指令调优方法。然而，现有方法往往依赖于原始指令调优数据集的质量，尤其是在使用LLMs合成的数据集时，可能会选择到更多的低质量样本。为了解决这一问题，本文利用外部知识（相关示例或段落）来评估LLMs合成的样本，并提出了一个名为RECOST的框架，该框架将外部知识库的重排序和多样性一致的采样整合到一个管道中。通过在多个合成数据集（如Alpaca和Alpaca-gpt4）上的广泛实验，我们证明了该方法的有效性，并在仅使用1%的完整数据集的情况下取得了更好的结果。

🔬 方法详解

问题定义：本文旨在解决现有数据高效指令调优方法对原始数据集质量的高度依赖问题，尤其是在使用LLMs合成数据时，低质量样本的选择概率较高。

核心思路：通过引入外部知识来评估合成样本的质量，利用基于上下文的相对预测熵作为新指标，从而提升样本选择的准确性和多样性。

技术框架：RECOST框架包括两个主要模块：外部知识库重排序和多样性一致的采样。这两个模块在一个统一的管道中协同工作，以优化指令调优过程。

关键创新：RECOST的核心创新在于将外部知识的重排序与多样性采样结合，形成了一种新的评估和选择机制，与传统方法相比，显著提升了样本质量和训练效率。

关键设计：在设计上，采用了基于上下文的相对预测熵作为评估指标，并在采样过程中引入了多样性约束，以确保选择的样本在内容和形式上的多样性。具体的参数设置和损失函数设计在实验中进行了优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个合成数据集（如Alpaca和Alpaca-gpt4）上的实验结果显示，RECOST方法在仅使用1%完整数据集的情况下，取得了显著的性能提升，超越了现有的基线方法，验证了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和教育技术等。通过提高指令调优的效率和效果，RECOST可以帮助开发更智能的对话代理和个性化学习系统，推动相关技术的进步与应用。未来，该方法可能会影响更多基于LLMs的应用场景，提升其在实际环境中的表现。

📄 摘要（原文）

In the current landscape of large language models (LLMs), the process of instruction tuning serves as an essential step. Considering the high computing power overhead, data-efficient instruction tuning was proposed to reduce the training data size in this process, aiming at selecting high-quality instructional data. Nevertheless, we argue that most current data-efficient instruction-tuning methods are highly dependent on the quality of the original instruction-tuning dataset. When it comes to datasets synthesized by LLMs, a common scenario in this field, dirty samples will even be selected with a higher probability than other samples. To address these challenges, we utilized external knowledge (relevant examples or paragraphs) to evaluate those samples synthesized by LLMs with an in-context-based relative predictive entropy. Based on the new metric, we proposed a framework, dubbed as \textbf{RECOST}, which integrates external-knowledge-base re-ranking and diversity-consistent sampling into a single pipeline. Through extensive experiments on several synthetic datasets (Alpaca and Alpaca-gpt4), we demonstrate the effectiveness of our method and achieve even better results with only \textbf{1\%} of the full dataset.