Enhancing textual textbook question answering with large language models and retrieval augmented generation
作者: Hessa Abdulrahman Alawwad, Areej Alhothali, Usman Naseem, Ali Alkhathlan, Amani Jamal
分类: cs.CL, cs.AI
发布日期: 2024-02-05 (更新: 2025-01-22)
期刊: Pattern Recognition, Volume 162, 2025, Article 111332
DOI: 10.1016/j.patcog.2024.111332
🔗 代码/项目: GITHUB
💡 一句话要点
提出PLRTQA框架以解决文本教科书问答中的推理不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 文本问答 检索增强生成 迁移学习 长文本处理 教育技术
📋 核心要点
- 现有文本教科书问答方法在推理能力和上下文捕捉方面存在不足，难以处理复杂问题。
- 本文提出PLRTQA框架，结合检索增强生成技术和迁移学习，以应对长文本和跨课时概念的问题。
- 实验结果显示，PLRTQA在文本多项选择题上，验证集和测试集的准确率分别提高了4.12%和9.84%。
📝 摘要（中文）
教科书问答（TQA）是人工智能中的一项挑战性任务，因其需要复杂的上下文来回答问题。尽管已有研究有所改进，但文本TQA仍存在推理能力弱和无法捕捉长文本中的上下文信息等局限性。本文提出了一种框架（PLRTQA），结合了检索增强生成（RAG）技术，以应对概念分散在不同课时的场景，并利用迁移学习来处理长文本和增强推理能力。实验结果表明，该架构在验证集和测试集上的准确率分别提高了4.12%和9.84%。
🔬 方法详解
问题定义：本文旨在解决文本教科书问答中的推理能力不足和上下文信息捕捉困难的问题。现有方法在处理复杂问题时，往往无法有效利用长文本中的关键信息。
核心思路：提出的PLRTQA框架结合了检索增强生成（RAG）技术，能够在不同课时中有效检索相关信息，并通过迁移学习提升模型对长文本的理解和推理能力。
技术框架：PLRTQA框架主要包括信息检索模块、生成模块和推理模块。信息检索模块负责从教科书中提取相关内容，生成模块则基于检索结果生成答案，推理模块用于增强模型的推理能力。
关键创新：PLRTQA的核心创新在于将RAG技术与迁移学习相结合，显著提升了模型在长文本和复杂问题上的表现。这一设计使得模型能够更好地捕捉上下文信息，区别于传统的单一生成模型。
关键设计：在模型设计中，采用了特定的损失函数以优化推理能力，并在网络结构上进行了调整，以适应长文本的处理需求。
🖼️ 关键图片
📊 实验亮点
PLRTQA框架在文本多项选择题的实验中表现优异，验证集和测试集的准确率分别提高了4.12%和9.84%。这一显著提升表明，所提出的方法在处理复杂的教科书问答任务中具有较强的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括教育技术、在线学习平台和智能问答系统。通过提升文本教科书问答的准确性，PLRTQA框架能够为学生提供更为精准的学习支持，促进个性化学习和知识的有效获取。未来，该框架还可扩展至多模态问答系统，结合视觉信息以应对更复杂的教育场景。
📄 摘要（原文）
Textbook question answering (TQA) is a challenging task in artificial intelligence due to the complex nature of context needed to answer complex questions. Although previous research has improved the task, there are still some limitations in textual TQA, including weak reasoning and inability to capture contextual information in the lengthy context. We propose a framework (PLRTQA) that incorporates the retrieval augmented generation (RAG) technique to handle the out-of-domain scenario where concepts are spread across different lessons, and utilize transfer learning to handle the long context and enhance reasoning abilities. Our architecture outperforms the baseline, achieving an accuracy improvement of 4. 12% in the validation set and 9. 84% in the test set for textual multiple-choice questions. While this paper focuses on solving challenges in the textual TQA, It provides a foundation for future work in multimodal TQA where the visual components are integrated to address more complex educational scenarios. Code: https://github.com/hessaAlawwad/PLR-TQA