RAG-PRISM: A Personalized, Rapid, and Immersive Skill Mastery Framework with Adaptive Retrieval-Augmented Tutoring
作者: Gaurangi Raul, Yu-Zheng Lin, Karan Patel, Bono Po-Jen Shih, Matthew W. Redondo, Banafsheh Saber Latibari, Jesus Pacheco, Soheil Salehi, Pratik Satam
分类: cs.CY, cs.AI
发布日期: 2025-08-31
备注: 9 pages, 5 figures, Accepted by IEEE FIE 2025
💡 一句话要点
提出RAG-PRISM框架以解决快速个性化技能培训问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 个性化学习 技能培训 生成式AI 检索增强生成 网络安全教育 第四次工业革命 自适应辅导
📋 核心要点
- 现有培训方法未能有效满足多样化背景、学习风格和动机的需求，导致技能提升效果不佳。
- 提出的RAG-PRISM框架结合生成式AI与RAG技术，提供个性化、快速的技能培训解决方案。
- 实验结果显示，GPT-4在生成的培训内容中实现了87%的相关性和100%的一致性，显著提升了学习效果。
📝 摘要（中文）
随着第四次工业革命（4IR）系统的快速数字化转型，劳动力需求正在重塑，尤其是老年工人的技能差距不断扩大。针对STEM技能的重视，迫切需要大规模的再培训和提升。为应对这些挑战，本文提出了一种结合生成式AI与检索增强生成（RAG）的自适应辅导框架，以提供个性化培训。该框架通过文档命中率和平均倒数排名（MRR）优化内容，并与人工生成的培训进行对比。通过创建模拟学员行为的合成问答数据集，展示了在4IR网络安全学习中的应用。评估结果表明，使用GPT-4的生成训练在相关性和一致性方面表现最佳，分别达到87%和100%。
🔬 方法详解
问题定义：本文旨在解决快速、个性化技能培训中的效率和适应性问题。现有方法往往无法满足不同学习者的需求，导致技能提升效果不理想。
核心思路：通过结合生成式AI与检索增强生成（RAG），实现个性化的学习体验，快速响应学习者的需求，提升学习的有效性和趣味性。
技术框架：框架主要包括数据收集、内容优化、生成模型和评估模块。首先，通过分析学习者的行为数据，优化内容，然后利用生成模型生成个性化的学习材料，最后进行效果评估。
关键创新：该框架的创新之处在于结合了生成式AI与RAG技术，能够动态调整学习内容，提供个性化的学习体验，与传统静态培训方法形成鲜明对比。
关键设计：在技术细节上，框架使用文档命中率和平均倒数排名（MRR）作为优化指标，生成模型采用了大型语言模型（如GPT-3.5和GPT-4），确保生成内容的相关性和一致性。具体参数设置和损失函数设计在实验中进行了详细调优。
📊 实验亮点
实验结果表明，使用GPT-4生成的培训内容在相关性和一致性方面表现优异，分别达到了87%和100%。这一双模式方法不仅提升了学习者的参与度，还为快速、个性化的教育提供了可扩展的解决方案。
🎯 应用场景
该研究的潜在应用领域包括教育培训、职业技能提升和企业内部培训等。通过提供个性化的学习体验，RAG-PRISM框架能够帮助不同背景的学习者快速掌握所需技能，提升整体劳动力素质，具有重要的实际价值和未来影响。
📄 摘要（原文）
The rapid digital transformation of Fourth Industrial Revolution (4IR) systems is reshaping workforce needs, widening skill gaps, especially for older workers. With growing emphasis on STEM skills such as robotics, automation, artificial intelligence (AI), and security, large-scale re-skilling and up-skilling are required. Training programs must address diverse backgrounds, learning styles, and motivations to improve persistence and success, while ensuring rapid, cost-effective workforce development through experiential learning. To meet these challenges, we present an adaptive tutoring framework that combines generative AI with Retrieval-Augmented Generation (RAG) to deliver personalized training. The framework leverages document hit rate and Mean Reciprocal Rank (MRR) to optimize content for each learner, and is benchmarked against human-generated training for alignment and relevance. We demonstrate the framework in 4IR cybersecurity learning by creating a synthetic QA dataset emulating trainee behavior, while RAG is tuned on curated cybersecurity materials. Evaluation compares its generated training with manually curated queries representing realistic student interactions. Responses are produced using large language models (LLMs) including GPT-3.5 and GPT-4, assessed for faithfulness and content alignment. GPT-4 achieves the best performance with 87% relevancy and 100% alignment. Results show this dual-mode approach enables the adaptive tutor to act as both a personalized topic recommender and content generator, offering a scalable solution for rapid, tailored learning in 4IR education and workforce development.