Predicting Sustainable Development Goals Using Course Descriptions -- from LLMs to Conventional Foundation Models
作者: Lev Kharlashkin, Melany Macias, Leo Huovinen, Mika Hämäläinen
分类: cs.CL
发布日期: 2024-02-26 (更新: 2024-04-23)
备注: 3 figures, 2 tables
期刊: Journal of Data Mining & Digital Humanities, NLP4DH (April 29, 2024) jdmdh:13127
DOI: 10.46298/jdmdh.13127
💡 一句话要点
利用课程描述预测可持续发展目标
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 可持续发展目标 课程描述 大型语言模型 小型语言模型 教育技术
📋 核心要点
- 现有方法在将可持续发展目标有效融入大学课程方面存在挑战，尤其是在课程描述的多样性和复杂性上。
- 本文提出利用大型语言模型生成训练数据，并训练多个小型语言模型来预测SDG，从而提高预测的准确性和适应性。
- 实验结果显示，BART模型在SDG预测任务中表现最佳，F1-score达到0.786，显著提升了预测性能。
📝 摘要（中文）
本文介绍了我们在大学课程中预测联合国可持续发展目标（SDG）的研究工作。我们使用名为PaLM 2的大型语言模型（LLM）生成训练数据，基于嘈杂的人类撰写的课程描述作为输入。随后，我们利用这些数据训练了多个较小的语言模型，以预测大学课程的SDG。该研究有助于更好地在大学层面适应SDG。在我们的实验中，表现最佳的模型是BART，F1-score达到0.786。
🔬 方法详解
问题定义：本文旨在解决如何有效预测大学课程中的可持续发展目标（SDG）的问题。现有方法在处理复杂和多样化的课程描述时，往往难以准确识别相关的SDG，导致适应性不足。
核心思路：我们提出的解决方案是利用大型语言模型（LLM）生成高质量的训练数据，并基于这些数据训练多个小型语言模型，以提高SDG预测的准确性和可靠性。这样的设计旨在充分利用LLM的生成能力，克服传统方法的局限性。
技术框架：整体架构包括两个主要阶段：首先，使用PaLM 2生成训练数据；其次，利用生成的数据训练多个小型语言模型（如BART等），以进行SDG预测。整个流程从输入课程描述开始，经过数据生成、模型训练，最终输出SDG预测结果。
关键创新：最重要的技术创新在于将大型语言模型与小型语言模型结合，利用LLM生成的高质量训练数据来提升小型模型的预测能力。这种方法与传统的直接使用小型模型进行训练的方式有本质区别。
关键设计：在模型训练过程中，我们特别关注了数据的质量和多样性，采用了适当的损失函数和优化策略，以确保模型能够有效学习到课程描述与SDG之间的关系。
🖼️ 关键图片
📊 实验亮点
实验结果显示，BART模型在SDG预测任务中表现最佳，F1-score达到0.786，较其他模型有显著提升。这一结果表明，利用LLM生成的训练数据能够有效提高小型模型的预测性能，为教育领域的可持续发展目标适应提供了新的思路。
🎯 应用场景
该研究的潜在应用领域包括高等教育课程设计、教育政策制定以及可持续发展目标的推广与实施。通过准确预测课程中的SDG，教育机构可以更好地调整课程内容，促进学生对可持续发展理念的理解和实践，进而推动社会的可持续发展。
📄 摘要（原文）
We present our work on predicting United Nations sustainable development goals (SDG) for university courses. We use an LLM named PaLM 2 to generate training data given a noisy human-authored course description input as input. We use this data to train several different smaller language models to predict SDGs for university courses. This work contributes to better university level adaptation of SDGs. The best performing model in our experiments was BART with an F1-score of 0.786.