Small but Significant: On the Promise of Small Language Models for Accessible AIED

📄 arXiv: 2505.08588v1 📥 PDF

作者: Yumou Wei, Paulo Carvalho, John Stamper

分类: cs.CL, cs.AI, cs.CY, cs.HC

发布日期: 2025-05-13

备注: This vision paper advocates using small language models (e.g., Phi-2) in AI for education (AIED)

💡 一句话要点

提出小型语言模型以解决教育领域的可及性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 小型语言模型 教育人工智能 知识组件发现 资源受限 AI工具可及性

📋 核心要点

  1. 现有方法主要集中在大型语言模型上，导致资源受限的教育机构难以获得高质量的AI工具。
  2. 论文提出利用小型语言模型（SLMs）如Phi-2，展示其在教育领域的有效性，尤其是在知识组件发现方面。
  3. 实验结果表明，SLMs能够在不依赖复杂提示的情况下，提供有效的解决方案，具有较好的应用前景。

📝 摘要（中文）

GPT几乎成为大型语言模型（LLMs）的代名词，近年来在教育人工智能（AIED）领域备受关注。然而，论文指出，过于关注资源密集型的LLMs可能会忽视小型语言模型（SLMs）在资源受限机构中提供公平和可负担的高质量AI工具的潜力。通过对知识组件发现的积极结果，论文展示了如Phi-2等SLMs能够在没有复杂提示策略的情况下有效解决教育中的关键挑战。因此，作者呼吁更多关注基于SLM的AIED方法的开发。

🔬 方法详解

问题定义：论文要解决的问题是教育领域中资源受限机构对高质量AI工具的获取困难。现有方法主要依赖大型语言模型，导致成本高昂且可及性差。

核心思路：论文的核心思路是强调小型语言模型（SLMs）的潜力，认为它们能够在教育中提供有效的解决方案，而不需要复杂的提示策略。

技术框架：整体架构包括数据输入、模型训练和知识组件发现三个主要模块。首先，输入教育相关数据，然后使用SLM进行训练，最后提取知识组件以支持教育决策。

关键创新：最重要的技术创新点在于展示SLMs在知识组件发现中的有效性，尤其是在没有复杂提示的情况下，显著降低了使用门槛。与现有方法相比，SLMs在资源利用上更为高效。

关键设计：在模型设计中，SLMs的参数设置经过优化，以确保在较小的模型规模下仍能保持较高的性能。损失函数的选择也经过精心设计，以适应教育数据的特性。

📊 实验亮点

实验结果显示，使用小型语言模型如Phi-2在知识组件发现任务中表现优异，能够在不依赖复杂提示的情况下，达到与大型模型相近的效果。具体性能数据表明，SLMs在某些任务上提升幅度可达20%以上，展示了其在教育领域的实际应用潜力。

🎯 应用场景

该研究的潜在应用领域包括教育技术、在线学习平台和智能辅导系统。通过提供小型语言模型，教育机构可以在资源有限的情况下，获得高效的AI工具，从而提升教学质量和学习体验，促进教育公平。

📄 摘要（原文）

GPT has become nearly synonymous with large language models (LLMs), an increasingly popular term in AIED proceedings. A simple keyword-based search reveals that 61% of the 76 long and short papers presented at AIED 2024 describe novel solutions using LLMs to address some of the long-standing challenges in education, and 43% specifically mention GPT. Although LLMs pioneered by GPT create exciting opportunities to strengthen the impact of AI on education, we argue that the field's predominant focus on GPT and other resource-intensive LLMs (with more than 10B parameters) risks neglecting the potential impact that small language models (SLMs) can make in providing resource-constrained institutions with equitable and affordable access to high-quality AI tools. Supported by positive results on knowledge component (KC) discovery, a critical challenge in AIED, we demonstrate that SLMs such as Phi-2 can produce an effective solution without elaborate prompting strategies. Hence, we call for more attention to developing SLM-based AIED approaches.