Exploring the Factual Consistency in Dialogue Comprehension of Large Language Models

📄 arXiv: 2311.07194v3 📥 PDF

作者: Shuaijie She, Shujian Huang, Xingyun Wang, Yanke Zhou, Jiajun Chen

分类: cs.CL

发布日期: 2023-11-13 (更新: 2024-04-01)

备注: Accepted at NAACL2024 Main

💡 一句话要点

提出对话摘要任务以评估大语言模型的事实一致性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对话理解 大语言模型 事实一致性 对话摘要 微调方法 多任务学习

📋 核心要点

  1. 现有大语言模型在对话理解方面存在显著的事实一致性问题，难以准确把握对话中的主客体关系。
  2. 本文提出通过对话摘要任务评估LLMs的事实一致性，并引入事实问题作为对话理解的测量标准。
  3. 实验结果显示，LLMs在对话摘要和事实问题回答中均存在较高的错误率，提出的微调方法有效降低了错误率。

📝 摘要（中文）

大语言模型（LLMs）通常以对话形式与用户互动，并根据指令生成响应，这自然要求其具备对话理解能力。然而，对话理解作为一种通用语言能力，难以直接评估。本文提出通过对话摘要任务聚焦于事实一致性问题进行评估。我们分析了不同LLMs的对话摘要性能（DIAC-Sum），并从生成的摘要中派生出事实问题，作为对话理解的灵活测量（DIAC-QA）。评估结果显示，平均26.8%的摘要存在事实不一致，甚至最强的模型ChatGPT也有16%的摘要出现错误。对于更具挑战性的事实问题，所有评估的LLMs平均错误率为36.1%。这些结果表明LLMs在理解对话的主客体方面仍存在严重不足。此外，我们提出了一种通过自动构建多任务数据的微调范式，DIAC-QA的相对错误率降低了11%。

🔬 方法详解

问题定义：本文旨在解决大语言模型在对话理解中存在的事实一致性问题。现有方法难以直接评估对话理解能力，尤其是在主客体理解方面存在明显不足。

核心思路：通过对话摘要任务来评估LLMs的事实一致性，并从摘要中派生出事实问题，以此作为对话理解的灵活测量标准。这样的设计可以更全面地反映模型的理解能力。

技术框架：整体架构包括对话摘要生成（DIAC-Sum）和事实问题回答（DIAC-QA）两个主要模块。首先生成对话摘要，然后从中提取事实问题进行评估。

关键创新：最重要的技术创新在于将对话摘要与事实一致性评估结合起来，提供了一种新的评估框架，与传统的单一评估方法有本质区别。

关键设计：在微调过程中，采用了自动构建的多任务数据集，优化了模型的学习过程，具体的损失函数和网络结构细节在论文中进行了详细描述。通过这些设计，模型在DIAC-QA任务上的相对错误率降低了11%。

📊 实验亮点

实验结果显示，LLMs生成的摘要中平均有26.8%存在事实不一致，ChatGPT的错误率为16%。在更具挑战性的事实问题回答中，所有评估模型的平均错误率为36.1%。提出的微调方法使DIAC-QA的相对错误率降低了11%。

🎯 应用场景

该研究的潜在应用领域包括智能客服、对话系统和教育领域等，能够提升大语言模型在实际对话中的理解和响应能力。通过改进对话理解能力，未来可以实现更自然的人机交互，增强用户体验。

📄 摘要（原文）

LLMs (Large Language Models) usually interact with users in the form of dialogue and generate responses following their instructions, which naturally require dialogue comprehension abilities. However, dialogue comprehension is a general language ability which is hard to be evaluated directly. In this work, we propose to perform the evaluation focusing on the factual consistency issue with the help of the dialogue summarization task. Besides evaluating and analyzing the dialogue summarization performance (DIAC-Sum) of different LLMs, we also derive factual questions from the generated summaries and use them as a more flexible measurement of dialogue comprehension (DIAC-QA). Our evaluation shows that, on average, 26.8% of the summaries generated by LLMs contain factual inconsistency. Even ChatGPT, the strongest model evaluated, has such errors in 16% of its summaries. For answering the factual questions, which is more challenging, the average error rate of all evaluated LLMs is 36.1%. Both results indicate serious deficiencies. Detailed analysis shows that the understanding of subject/object of the conversation is still challenging for LLMs. Furthermore, to stimulate and enhance the dialogue comprehension ability of LLMs, we propose a fine-tuning paradigm with auto-constructed multi-task data, which achieved a relative error rate reduction of 11% on DIAC-QA.