Divide-or-Conquer? Which Part Should You Distill Your LLM?
作者: Zhuofeng Wu, He Bai, Aonan Zhang, Jiatao Gu, VG Vinod Vydiswaran, Navdeep Jaitly, Yizhe Zhang
分类: cs.CL, cs.LG
发布日期: 2024-02-22 (更新: 2024-11-19)
备注: Findings of the Association for Computational Linguistics: EMNLP 2024
期刊: 2024.findings-emnlp.145
💡 一句话要点
提出任务分解策略以提升大语言模型的推理能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 推理任务 任务分解 模型蒸馏 泛化能力 自然语言处理 计算效率
📋 核心要点
- 现有方法在处理复杂推理任务时，往往难以有效分解任务，导致性能不足。
- 本文提出将推理任务分为问题分解和问题解决两个阶段，以提高模型的推理能力。
- 实验结果表明，蒸馏问题分解阶段能够实现良好的泛化，而问题解决能力的蒸馏则面临挑战。
📝 摘要（中文）
近期研究表明，鼓励大型语言模型（LLMs）先解决主任务的子任务，可以更好地完成推理任务。本文提出了一种类似的策略，将推理任务分为问题分解阶段和问题解决阶段，并展示该策略优于单阶段解决方案。我们假设问题分解相较于问题解决更易于蒸馏到小模型中，因为后者需要大量领域知识，而前者仅需学习一般的解决策略。我们提出了蒸馏这两种能力的方法，并评估其对推理结果和推理成本的影响。研究发现，能够蒸馏问题分解阶段，同时在任务、数据集和模型间实现良好的泛化。然而，蒸馏问题解决能力则较为困难，且蒸馏后的模型在泛化上表现不佳。这些结果表明，通过结合小型蒸馏问题分解模型与问题解决LLMs，可以实现成本高效的推理与局部适应。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在推理任务中难以有效分解和处理复杂问题的挑战。现有方法往往依赖于单一阶段的解决方案，导致性能不足和泛化能力差。
核心思路：论文提出将推理任务分为两个阶段：问题分解和问题解决。通过先解决子任务，模型能够更好地掌握整体任务的结构，从而提高推理能力。
技术框架：整体架构包括两个主要模块：问题分解模块和问题解决模块。问题分解模块负责将复杂任务拆解为更简单的子任务，而问题解决模块则处理这些子任务并整合结果。
关键创新：最重要的创新在于提出了将推理任务分解为两个阶段的策略，并验证了这种方法在蒸馏小模型时的有效性，显著提升了推理效率和适应性。
关键设计：在蒸馏过程中，采用了特定的损失函数以平衡问题分解和问题解决的能力，同时在网络结构上进行了优化，以确保模型在不同任务和数据集上的泛化能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，蒸馏问题分解阶段的模型在多个任务和数据集上实现了优异的泛化能力，而问题解决能力的蒸馏则面临性能下降的挑战。相比于单阶段模型，结合小型蒸馏模型的策略在推理成本和适应性上均有显著提升。
🎯 应用场景
该研究的潜在应用领域包括智能问答系统、对话生成、以及其他需要复杂推理的自然语言处理任务。通过提高模型的推理能力和效率，能够在实际应用中降低计算成本，并提升用户体验。未来，该方法可能对大规模语言模型的训练和应用产生深远影响。
📄 摘要（原文）
Recent methods have demonstrated that Large Language Models (LLMs) can solve reasoning tasks better when they are encouraged to solve subtasks of the main task first. In this paper we devise a similar strategy that breaks down reasoning tasks into a problem decomposition phase and a problem solving phase and show that the strategy is able to outperform a single stage solution. Further, we hypothesize that the decomposition should be easier to distill into a smaller model compared to the problem solving because the latter requires large amounts of domain knowledge while the former only requires learning general problem solving strategies. We propose methods to distill these two capabilities and evaluate their impact on reasoning outcomes and inference cost. We find that we can distill the problem decomposition phase and at the same time achieve good generalization across tasks, datasets, and models. However, it is harder to distill the problem solving capability without losing performance and the resulting distilled model struggles with generalization. These results indicate that by using smaller, distilled problem decomposition models in combination with problem solving LLMs we can achieve reasoning with cost-efficient inference and local adaptation.