From Large to Tiny: Distilling and Refining Mathematical Expertise for Math Word Problems with Weakly Supervision

📄 arXiv: 2403.14390v1 📥 PDF

作者: Qingwen Lin, Boyan Xu, Zhengting Huang, Ruichu Cai

分类: cs.CL

发布日期: 2024-03-21

DOI: 10.1007/978-981-97-5678-0_22

💡 一句话要点

提出两阶段框架以解决数学文字问题的弱监督学习挑战

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数学文字问题 弱监督学习 知识蒸馏 小型语言模型 大型语言模型 数据精炼 模型性能提升

📋 核心要点

  1. 现有方法在解决数学文字问题时依赖于完整监督，导致标注成本高，且现有技术无法确保方程与自然语言描述的语义一致性。
  2. 本文提出的两阶段框架通过蒸馏和精炼过程，将大型语言模型中的数学知识有效转移到小型模型中，降低了计算资源需求。
  3. 实验结果显示，所提方法在Math23K和Weak12K数据集上相较于现有小型模型方法有显著性能提升，同时计算成本更低。

📝 摘要（中文）

针对解决数学文字问题（MWPs）时高昂的标注成本，本文提出了一种创新的两阶段框架，旨在将数学知识从大型语言模型（LLMs）转移到小型语言模型中。在蒸馏阶段，通过一系列提取过程，从LLMs中提取数学知识，构建问题-方程对以进行监督训练。在精炼阶段，利用未成功搜索的数据，通过知识精炼方法进一步提升数据的有效利用。实验结果表明，该方法在Math23K和Weak12K数据集上显著提升了性能，同时计算成本远低于ChatGPT。

🔬 方法详解

问题定义：本文旨在解决数学文字问题中的高标注成本和现有方法在语义一致性方面的不足，尤其是依赖完整监督的局限性。

核心思路：通过两阶段框架，首先从大型语言模型中蒸馏数学知识，然后利用未成功搜索的数据进行精炼，以提高小型模型的性能。

技术框架：整体框架分为蒸馏阶段和精炼阶段。在蒸馏阶段，提取问题-方程对；在精炼阶段，优化未成功的数据利用。

关键创新：最重要的创新在于通过知识蒸馏和精炼的结合，确保了数据的充分利用和语义一致性，显著提升了小型模型的表现。

关键设计：在蒸馏阶段，设计了一系列提取过程以满足MWPs的特性；在精炼阶段，采用了知识精炼方法来有效利用未成功的数据，确保模型训练的全面性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，所提方法在Math23K和Weak12K数据集上的性能显著提升，具体表现为相较于现有小型模型方法，准确率提高了XX%，同时计算成本降低了YY%。

🎯 应用场景

该研究的潜在应用领域包括教育技术、智能辅导系统和自动化数学解题工具。通过降低计算成本和提高模型性能，能够为资源有限的环境提供高效的数学问题解决方案，推动教育公平和智能化发展。

📄 摘要（原文）

Addressing the challenge of high annotation costs in solving Math Word Problems (MWPs) through full supervision with intermediate equations, recent works have proposed weakly supervised task settings that rely solely on the final answer as a supervised signal. Existing leading approaches typically employ various search techniques to infer intermediate equations, but cannot ensure their semantic consistency with natural language descriptions. The rise of Large Language Models (LLMs) like ChatGPT has opened up new possibilities for addressing MWPs directly. However, the computational demands of LLMs make them less than ideal for use in settings where resources are tight. In light of these challenges, we introduce an innovative two-stage framework that adeptly transfers mathematical Expertise from large to tiny language models. In \emph{Distillation Stage}, we propose a series of extraction processes that satisfy the properties of MWPs to distill mathematical knowledge from LLMs to construct problem-equation pairs required for supervised training. In \emph{Refinement Stage}, Due to Knowledge distilling method cannot guarantee the full utilization of all data, we further utilize the unsuccessfully searched data effectively by Knowledge Refine method. Finally, We train a small model using distilled data generated through two-stage methods. As our method fully leverages the semantic understanding capabilities during the searching 'problem-equation' pair, it demonstrates significantly improved performance on the Math23K and Weak12K datasets compared to existing small model methods, while maintaining a much lower computational cost than ChatGPT.