Large Language Models are In-context Teachers for Knowledge Reasoning

📄 arXiv: 2311.06985v3 📥 PDF

作者: Jiachen Zhao, Zonghai Yao, Zhichao Yang, Hong Yu

分类: cs.CL

发布日期: 2023-11-12 (更新: 2024-10-04)

备注: EMNLP 24 Findings

💡 一句话要点

提出Self-Explain与Teach-Back以提升知识推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 上下文教学 大型语言模型 知识推理 自我解释 教师对齐 医学问答 智能教育

📋 核心要点

  1. 现有方法依赖人类教师设计示例，成本高且变异性大，影响教学效果。
  2. 提出Self-Explain方法，利用LLM自我生成的解释作为上下文示例，提升推理能力。
  3. 实验结果显示，Teach-Back方法使7B模型在医学问答中超越人类教师，准确率提升约5%。

📝 摘要（中文）

本研究探讨了上下文教学（ICT），即教师通过示例推理教导学生处理未见案例。传统方法中，人类教师需要设计示例，成本高且变异性大。我们提出大型语言模型（LLM）作为更有效的上下文教师，验证了教师提供的示例与学生训练数据匹配的重要性。基于此，我们提出Self-Explain，利用LLM自我生成的解释作为示例，显著优于人类设计的示例。此外，我们发现不同教师LLM或人类专家的推理与学生自我解释相似时，效果更佳。最后，提出Teach-Back方法，使教师LLM与学生对齐，提升ICT性能，实验表明在医学问答中，7B模型在上下文中教学GPT-3.5的准确率超越人类教师约5%。

🔬 方法详解

问题定义：本研究旨在解决传统上下文教学中人类教师示例设计的高成本和高变异性问题。现有方法依赖于人类教师的创造性，导致教学效果不稳定。

核心思路：我们提出利用大型语言模型（LLM）自我生成的解释作为上下文示例，称为Self-Explain。这种方法基于编码特异性假设，认为教师提供的示例应与学生的训练数据相匹配，从而提高推理效果。

技术框架：整体架构包括两个主要模块：Self-Explain和Teach-Back。Self-Explain模块生成自我解释示例，Teach-Back模块则对齐教师和学生LLM，以优化教学过程。

关键创新：最重要的创新在于使用LLM自我生成的解释作为教学示例，显著优于传统人类设计的示例。这一方法不仅降低了示例设计的成本，还提高了教学效果。

关键设计：在Self-Explain中，使用LLM的自我解释作为上下文示例，确保示例与学生的训练数据相似。Teach-Back通过对齐教师和学生的生成过程，增强了上下文教学的效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用Self-Explain方法的模型在医学问答任务中，准确率比人类教师高出约5%。此外，Teach-Back方法使得较小的7B模型能够有效地教导更大的GPT-3.5，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括教育技术、智能问答系统和人机交互等。通过提升大型语言模型的教学能力，可以在医疗、法律等专业领域提供更高效的知识传递和推理支持，未来可能推动智能教育的发展。

📄 摘要（原文）

In this work, we study in-context teaching (ICT), where a teacher provides in-context example rationales to teach a student to reason over unseen cases. Human teachers are usually required to craft in-context demonstrations, which are costly and have high variance. We ask whether a large language model (LLM) can serve as a more effective in-context teacher for itself or other LLMs, compared to humans. Inspired by the Encoding Specificity Hypothesis from human episodic memory, we hypothesize that in-context exemplars crafted by the teacher should match the training data of the student. This hypothesis motivates us to propose Self-Explain where an LLM's self-elicited explanations are used as in-context demonstrations for prompting it as they are generalized from the model's training examples. Self-Explain is shown to significantly outperform using human-crafted exemplars and other baselines. Furthermore, we reveal that for ICT, rationales from different teacher LLMs or human experts that more resemble the student LLM's self-explanations are better in-context demonstrations. This supports our encoding specificity hypothesis. We then propose Teach-Back that aligns a teacher LLM with the student to enhance the ICT performance. For example, Teach-Back enables a 7B model to teach the much larger GPT-3.5 in context, surpassing human teachers by around 5% in test accuracy on medical question answering.