Towards Developing a Multimodal Chat Assistant for University Stakeholders: RAG-based Approach

📄 arXiv: 2607.01115v1 📥 PDF

作者: Md Abu Hanif Shaikh, Abdullah Al Shafi

分类: cs.CL, cs.AI

发布日期: 2026-07-01

备注: Accepted at 2025 28th International Conference on Computer and Information Technology (ICCIT)

期刊: 2025 28th International Conference on Computer and Information Technology (ICCIT)

DOI: 10.1109/ICCIT68739.2025.11490128

💡 一句话要点

提出多模态大学聊天助手以解决信息获取难题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态聊天助手 检索增强生成 大学信息系统 语义检索 实时查询处理

📋 核心要点

  1. 现有的基于规则的聊天机器人无法处理复杂的领域特定查询，且难以适应机构政策的变化。
  2. 提出的解决方案是结合大型语言模型与语义检索的多模态聊天助手，支持文本和图像查询。
  3. 实验结果显示，系统在文本和图像查询中均保持高满意度，幻觉率显著降低，验证了方法的有效性。

📝 摘要（中文）

大学利益相关者在获取及时和可靠的信息时常面临困难，尤其是在发展中国家，智能支持系统稀缺。现有的基于规则的聊天机器人无法处理复杂的领域特定查询，也难以适应不断变化的机构政策。为此，本文提出了一种基于检索增强生成（RAG）的多模态大学聊天助手。该系统结合了大型语言模型与语义检索，从机构中心资源（如大学手册）中生成基于上下文的响应。系统支持文本和图像查询，并通过量化推理实现快速部署。基于FastAPI构建的可扩展后端与Next.js开发的响应式前端确保了实时可用性。多模态评估显示，尽管视觉输入的响应时间增加，系统在文本和图像查询中仍保持较高的满意度。此外，定量评估表明，所提RAG系统的幻觉率从31.7%降至6.6%，验证了检索基础的有效性。

🔬 方法详解

问题定义：本论文旨在解决大学利益相关者在获取信息时面临的困难，尤其是在发展中国家，现有的智能支持系统稀缺且无法处理复杂查询。

核心思路：提出的多模态聊天助手结合了大型语言模型与检索增强生成（RAG）技术，能够从机构资源中生成上下文相关的响应，支持文本和图像输入。

技术框架：系统架构包括一个后端（使用FastAPI构建）和一个前端（使用Next.js开发），支持实时查询处理。系统通过量化推理实现快速部署，适应受限硬件环境。

关键创新：最重要的创新在于将语义检索与生成模型结合，显著降低了生成内容的幻觉率，从而提高了响应的准确性和可靠性。

关键设计：系统采用量化推理技术以优化性能，具体参数设置和损失函数设计未在摘要中详细说明，需参考完整论文获取更多技术细节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提RAG系统在文本和图像查询中均保持高满意度，幻觉率从31.7%降低至6.6%，验证了检索基础的有效性，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括高校的智能客服系统、在线教育平台及信息咨询服务。通过提供及时、准确的信息，该系统能够显著提升用户体验，促进信息获取的便利性，未来可扩展至其他行业的智能助手应用。

📄 摘要（原文）

University stakeholders often face difficulties in accessing timely and reliable information, especially in developing countries, where there are very few intelligent support systems. Existing rule-based chatbots are unable to handle complex, domain-specific queries and are not well-equipped to adapt to evolving institutional policies. As a fill-in-the-gap solution, we present the multimodal university chatbot with retrieval-augmented generation. The system combines the large language model with semantic retrieval to produce context-based responses from institution-centric resources, such as the university handbook. The system accepts text and image queries through the vision-language model and applies quantized inference for rapid deployment on constrained hardware. A scalable backend built with FastAPI, adjoined with a responsive frontend developed with Next.js, ensures real-time usability. Our multimodal evaluation demonstrates that the system maintains strong satisfaction scores across both text and image queries, despite increased response time for visual inputs. Furthermore, quantitative evaluation shows that hallucination is reduced from 31.7% to 6.6% in our proposed RAG-based system, confirming the effectiveness of retrieval grounding.