Enhancing Answer Selection in Community Question Answering with Pre-trained and Large Language Models

📄 arXiv: 2311.17502v1 📥 PDF

作者: Xinghang Hu

分类: cs.CL

发布日期: 2023-11-29

备注: 24pages, 4 figures, 14tables

💡 一句话要点

提出QAN模型以提升社区问答中的答案选择效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 社区问答 答案选择 预训练模型 大型语言模型 知识增强 交叉注意力机制

📋 核心要点

  1. 现有的社区问答系统中，答案数量庞大，导致用户难以快速找到相关答案，答案选择的准确性亟待提升。
  2. 本文提出了问答交叉注意力网络（QAN），结合预训练模型和大型语言模型，通过交叉注意力机制优化答案选择过程。
  3. 实验结果显示，QAN模型在SemEval2015和SemEval2017数据集上表现优异，且通过知识增强显著提高了答案选择的准确率。

📝 摘要（中文）

社区问答（CQA）在近年来变得越来越普遍，但由于答案数量庞大，用户很难选择相关答案。因此，答案选择成为CQA的重要子任务。本文首先提出了基于预训练模型的问答交叉注意力网络（QAN），并利用大型语言模型（LLM）进行知识增强的答案选择。具体而言，我们应用BERT模型作为编码层，对问题主题、问题主体和答案进行预训练，然后通过交叉注意力机制为不同问题选择最相关的答案。实验表明，QAN模型在SemEval2015和SemEval2017两个数据集上达到了最先进的性能。此外，我们使用LLM从问题和正确答案中生成外部知识，以实现答案选择任务的知识增强，同时在不同方面优化LLM的提示。结果显示，引入外部知识可以提高LLM在SemEval2015和SemEval2017数据集上的正确答案选择率。

🔬 方法详解

问题定义：本文旨在解决社区问答中答案选择的困难，现有方法在处理大量答案时准确性不足，用户体验差。

核心思路：提出问答交叉注意力网络（QAN），结合预训练模型和大型语言模型，通过交叉注意力机制提升答案选择的相关性和准确性。

技术框架：整体架构包括BERT编码层用于预训练问题和答案，交叉注意力机制用于选择最相关的答案，LLM用于知识增强。

关键创新：引入交叉注意力机制和知识增强策略，使得模型在选择答案时能够更好地利用上下文信息和外部知识，显著提升选择准确率。

关键设计：在模型设计中，采用BERT作为基础编码器，设置合适的损失函数以优化答案选择效果，并在LLM的提示优化中进行多方面探索。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，QAN模型在SemEval2015和SemEval2017数据集上达到了最先进的性能，相较于基线模型，答案选择的准确率提升了显著的百分比，证明了知识增强策略的有效性。

🎯 应用场景

该研究在社区问答系统、在线教育平台和技术支持论坛等领域具有广泛的应用潜力。通过提升答案选择的准确性，可以显著改善用户体验，帮助用户快速找到所需信息，进而推动知识共享和社区互动的发展。

📄 摘要（原文）

Community Question Answering (CQA) becomes increasingly prevalent in recent years. However, there are a large number of answers, which is difficult for users to select the relevant answers. Therefore, answer selection is a very significant subtask of CQA. In this paper, we first propose the Question-Answer cross attention networks (QAN) with pre-trained models for answer selection and utilize large language model (LLM) to perform answer selection with knowledge augmentation. Specifically, we apply the BERT model as the encoder layer to do pre-training for question subjects, question bodies and answers, respectively, then the cross attention mechanism selects the most relevant answer for different questions. Experiments show that the QAN model achieves state-of-the-art performance on two datasets, SemEval2015 and SemEval2017. Moreover, we use the LLM to generate external knowledge from questions and correct answers to achieve knowledge augmentation for the answer selection task by LLM, while optimizing the prompt of LLM in different aspects. The results show that the introduction of external knowledge can improve the correct answer selection rate of LLM on datasets SemEval2015 and SemEval2017. Meanwhile, LLM can also select the correct answer on more questions by optimized prompt.