Turning Dust into Gold: Distilling Complex Reasoning Capabilities from LLMs by Leveraging Negative Data

📄 arXiv: 2312.12832v1 📥 PDF

作者: Yiwei Li, Peiwen Yuan, Shaoxiong Feng, Boyuan Pan, Bin Sun, Xinglin Wang, Heda Wang, Kan Li

分类: cs.CL, cs.AI

发布日期: 2023-12-20

备注: AAAI 2024

💡 一句话要点

利用负样本蒸馏LLM，提升小模型在复杂推理任务上的能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 知识蒸馏 负样本学习 算术推理 模型压缩

📋 核心要点

  1. 现有方法在将LLM推理能力蒸馏到小模型时，忽略了LLM产生的错误推理链（负样本），导致知识利用不充分。
  2. 该论文提出一种模型专业化框架，通过在训练和推理阶段利用负样本，提升小模型在复杂推理任务上的性能。
  3. 实验结果表明，该方法在算术推理任务中有效，证明了负样本在LLM蒸馏中的重要作用。

📝 摘要（中文）

大型语言模型(LLM)在各种推理任务中表现出色，但其不可访问性和庞大的参数阻碍了实际应用。一种有前景的方法是通过生成的思维链推理路径将LLM的推理能力提炼到小型模型中。然而，在某些情况下，LLM可能会产生不正确的推理链，尤其是在面对复杂的数学问题时。以往的研究只从正样本中转移知识，而丢弃了带有错误答案的合成数据。本文展示了负样本的价值，并提出了一个模型专业化框架，除了正样本外，还利用负样本来蒸馏LLM。该框架包括从训练到推理阶段的三个渐进步骤，以吸收来自负样本的知识。我们进行了广泛的算术推理任务实验，以证明负样本在LLM蒸馏中的作用。

🔬 方法详解

问题定义：论文旨在解决将大型语言模型（LLM）的复杂推理能力迁移到小型模型的问题。现有的蒸馏方法主要依赖于LLM生成的正确推理链（正样本），而忽略了LLM可能产生的错误推理链（负样本）。这些负样本包含了LLM的错误认知和推理偏差，如果能够有效利用，可以帮助小模型更好地理解推理过程中的陷阱，从而提升其鲁棒性和准确性。

核心思路：论文的核心思路是利用负样本来增强小模型的推理能力。通过让小模型学习区分正确的推理路径和错误的推理路径，可以使其更好地理解推理过程中的关键步骤和潜在错误。这种方法类似于对比学习，通过正负样本的对比，可以更有效地提取知识。

技术框架：该框架包含三个渐进的步骤：1) 负样本生成：利用LLM生成包含错误答案的推理链作为负样本。2) 模型训练：使用正样本和负样本对小模型进行训练，目标是让小模型能够区分正负样本，并学习正确的推理路径。3) 推理阶段：在推理阶段，利用训练好的小模型对问题进行推理，并结合负样本信息来修正推理结果。

关键创新：该论文的关键创新在于首次系统性地研究了负样本在LLM蒸馏中的作用，并提出了一个有效的利用负样本的框架。与以往只关注正样本的蒸馏方法不同，该方法通过引入负样本，可以更全面地提取LLM的知识，并提升小模型的推理能力。

关键设计：具体的技术细节包括：负样本的生成方式（例如，通过修改LLM的解码策略来生成错误答案），损失函数的设计（例如，使用对比损失来区分正负样本），以及推理阶段如何利用负样本信息来修正推理结果（例如，通过对不同的推理路径进行加权平均）。具体的参数设置和网络结构在论文中未明确给出，属于未知信息。

📊 实验亮点

论文通过在算术推理任务上进行实验，证明了负样本在LLM蒸馏中的有效性。具体的性能数据和对比基线在摘要中未给出，属于未知信息。但论文强调了该方法能够显著提升小模型的推理能力，并减少错误推理的发生。

🎯 应用场景

该研究成果可应用于各种需要复杂推理能力的场景，例如智能客服、金融风控、医疗诊断等。通过将大型语言模型的推理能力蒸馏到小型模型中，可以在资源受限的环境下部署高性能的推理系统，降低计算成本，并提高响应速度。此外，该方法还可以用于提升现有推理系统的鲁棒性和准确性，减少错误推理的发生。

📄 摘要（原文）

Large Language Models (LLMs) have performed well on various reasoning tasks, but their inaccessibility and numerous parameters hinder wide application in practice. One promising way is distilling the reasoning ability from LLMs to small models by the generated chain-of-thought reasoning paths. In some cases, however, LLMs may produce incorrect reasoning chains, especially when facing complex mathematical problems. Previous studies only transfer knowledge from positive samples and drop the synthesized data with wrong answers. In this work, we illustrate the merit of negative data and propose a model specialization framework to distill LLMs with negative samples besides positive ones. The framework consists of three progressive steps, covering from training to inference stages, to absorb knowledge from negative data. We conduct extensive experiments across arithmetic reasoning tasks to demonstrate the role of negative data in distillation from LLM.