TPD: Enhancing Student Language Model Reasoning via Principle Discovery and Guidance

📄 arXiv: 2401.13849v1 📥 PDF

作者: Haorui Wang, Rongzhi Zhang, Yinghao Li, Lingkai Kong, Yuchen Zhuang, Xiusi Chen, Chao Zhang

分类: cs.CL, cs.AI

发布日期: 2024-01-24

💡 一句话要点

提出TPD框架以提升学生语言模型推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 推理能力 教师-学生框架 原则发现 模型指导 深度学习 机器学习

📋 核心要点

  1. 现有方法在推理任务中依赖大量微调数据或与强教师模型的持续互动，限制了小模型的能力转移。
  2. 本文提出TPD框架，通过教师生成纠正原则和指令，模仿人类学习机制，提升学生模型的推理能力。
  3. 在八个推理任务的实验中，TPD显著提高了学生模型的性能，平均提升6.2%，优于标准的思维链提示方法。

📝 摘要（中文）

大型语言模型（LLMs）最近展现了显著的推理能力，但较大模型在推理任务中往往优于较小模型，如何有效转移这些能力成为挑战。现有方法依赖于大量的微调数据或与更强教师LLM的持续互动。为解决这些限制，本文提出了一种基于原则的教师-学生框架TPD，模仿教师与学生之间的互动。教师LLM根据学生模型的错误生成问题解决指令和纠正原则，指导学生模型的学习。通过在八个推理任务上的广泛实验，TPD显著提高了学生模型的性能，平均提升6.2%。

🔬 方法详解

问题定义：本文旨在解决大型语言模型推理能力转移的挑战，现有方法依赖大量数据或教师模型的持续互动，限制了小模型的独立学习能力。

核心思路：TPD框架通过教师生成问题解决指令和纠正原则，指导学生模型的学习，模仿人类学习中的教师-学生互动机制。

技术框架：TPD框架包括教师模型和学生模型两个主要模块，教师模型负责生成指导原则和指令，学生模型则根据这些指导和自身错误进行学习和推理。

关键创新：TPD的创新在于通过原则发现和指导的方式，减少了对教师模型的依赖，使学生模型能够在推理过程中独立工作，提升了学习效率。

关键设计：在设计中，教师模型的输出包括纠正原则和示例选择，学生模型通过这些信息进行自我修正，优化了学习过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在八个推理任务的实验中，TPD框架显著提高了学生模型的性能，平均提升6.2%，相比于标准的思维链提示方法，展示了其有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括教育、智能问答系统和自动化推理任务等。TPD框架能够有效提升小型语言模型的推理能力，降低对大模型的依赖，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Large Language Models (LLMs) have recently showcased remarkable reasoning abilities. However, larger models often surpass their smaller counterparts in reasoning tasks, posing the challenge of effectively transferring these capabilities from larger models. Existing approaches heavily rely on extensive fine-tuning data or continuous interactions with a superior teacher LLM during inference. We introduce a principle-based teacher-student framework called ``Teaching via Principle Discovery'' (TPD) to address these limitations. Inspired by human learning mechanisms, TPD mimics the interaction between a teacher and a student using a principle-based approach. The teacher LLM generates problem-solving instructions and corrective principles based on the student LLM's errors. These principles guide the refinement of instructions and the selection of instructive examples from a validation set. This enables the student model to learn from both the teacher's guidance and its own mistakes. Once the student model begins making inferences, TPD requires no further intervention from the teacher LLM or humans. Through extensive experiments across eight reasoning tasks, we demonstrate the effectiveness of TPD. Compared to standard chain-of-thought prompting, TPD significantly improves the student model's performance, achieving $6.2\%$ improvement on average.