$\textit{Dial BeInfo for Faithfulness}$: Improving Factuality of Information-Seeking Dialogue via Behavioural Fine-Tuning

📄 arXiv: 2311.09800v2 📥 PDF

作者: Evgeniia Razumovskaia, Ivan Vulić, Pavle Marković, Tomasz Cichy, Qian Zheng, Tsung-Hsien Wen, Paweł Budzianowski

分类: cs.CL

发布日期: 2023-11-16 (更新: 2024-03-04)

💡 一句话要点

提出BeInfo以解决信息检索对话中的事实性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 信息检索 对话系统 行为调优 事实性 大型语言模型

📋 核心要点

  1. 现有大型语言模型在信息检索对话中常出现幻觉现象，导致生成的响应与知识源不一致。
  2. 本文提出BeInfo，通过行为调优的方法来增强信息检索对话系统的事实性，提升模型的响应质量。
  3. 实验结果显示，经过BeInfo调优的模型在多个数据集上表现出更高的事实性，并在真实对话中超越了GPT-4。

📝 摘要（中文）

事实性是信息检索对话中的关键要求：系统应对用户查询作出有意义且与知识源一致的响应。然而，许多现代大型语言模型存在幻觉现象，即生成的响应与知识源不符或相矛盾。为缓解这一问题并提高信息检索对话系统的可信度，本文提出了BeInfo，这是一种简单而有效的方法，通过行为调优来辅助信息检索对话。基于三个标准数据集的实验表明，经过BeInfo调优的模型在已见和未见领域均表现出显著提高的事实性。此外，使用BeInfo调优的3B参数模型（如Flan-T5）在真实生产对话数据上表现强劲，超越了GPT-4。

🔬 方法详解

问题定义：本文旨在解决信息检索对话中模型生成响应的事实性不足问题。现有方法常常导致生成内容与知识源不一致，影响用户体验。

核心思路：BeInfo方法通过行为调优，增强模型对知识源的依赖，从而提高生成响应的可信度。该方法设计简单，但有效地提升了对话系统的事实性。

技术框架：BeInfo的整体架构包括数据准备、行为调优和模型评估三个主要阶段。首先，准备标准数据集，然后进行调优，最后评估模型在不同领域的表现。

关键创新：BeInfo的创新在于其行为调优策略，使得模型在已见和未见领域均能保持较高的事实性。这与传统的训练方法形成鲜明对比，后者往往只关注已见数据。

关键设计：在调优过程中，使用了特定的损失函数来强化模型对知识源的依赖，同时在参数设置上进行了优化，以确保模型在真实对话场景中的表现。具体的网络结构和调优细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，经过BeInfo调优的3B参数模型在真实对话数据上表现优异，超越了GPT-4，显示出在多个数据集上事实性提升显著，尤其是在零-shot场景下的表现尤为突出。

🎯 应用场景

该研究的潜在应用领域包括智能客服、虚拟助手和信息检索系统等。通过提高对话系统的事实性，能够显著提升用户体验和信任度，未来可能在多个行业中得到广泛应用。

📄 摘要（原文）

Factuality is a crucial requirement in information seeking dialogue: the system should respond to the user's queries so that the responses are meaningful and aligned with the knowledge provided to the system. However, most modern large language models suffer from hallucinations, that is, they generate responses not supported by or contradicting the knowledge source. To mitigate the issue and increase faithfulness of information-seeking dialogue systems, we introduce BeInfo, a simple yet effective method that applies behavioural tuning to aid information-seeking dialogue. Relying on three standard datasets, we show that models tuned with BeInfo} become considerably more faithful to the knowledge source both for datasets and domains seen during BeInfo-tuning, as well as on unseen domains, when applied in a zero-shot manner. In addition, we show that the models with 3B parameters (e.g., Flan-T5) tuned with BeInfo demonstrate strong performance on data from real `production' conversations and outperform GPT4 when tuned on a limited amount of such realistic in-domain dialogues.