DialogBench: Evaluating LLMs as Human-like Dialogue Systems

📄 arXiv: 2311.01677v2 📥 PDF

作者: Jiao Ou, Junda Lu, Che Liu, Yihong Tang, Fuzheng Zhang, Di Zhang, Kun Gai

分类: cs.CL, cs.AI

发布日期: 2023-11-03 (更新: 2024-03-29)

备注: Accepted at NAACL 2024 (main conference)

💡 一句话要点

提出DialogBench以评估大型语言模型的人类对话能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对话系统 大型语言模型 评估基准 指令调优 人类相似性 情感感知 GPT-4 自然语言处理

📋 核心要点

  1. 现有对话系统在模拟人类对话方面存在不足，无法与用户建立长期连接。
  2. 本文提出DialogBench评估基准，通过12个对话任务评估LLMs的人类对话能力，利用GPT-4生成高质量评估实例。
  3. 实验结果表明，指令调优在一定程度上提升了LLMs的人类相似性，但仍有较大改进空间，且助手AI的定位影响情感感知。

📝 摘要（中文）

大型语言模型（LLMs）通过指令调优在对话能力上取得了显著突破，刷新了人们对对话系统的印象。为了评估LLMs作为人类对话系统的能力，本文提出了DialogBench，一个包含12个对话任务的评估基准。我们利用GPT-4生成每个任务的评估实例，设计了基本提示，并进一步减轻现有偏见，以生成更高质量的评估实例。对26个LLMs在英语和中文DialogBench上的广泛测试表明，指令调优在一定程度上提高了LLMs的人类相似性，但大多数LLMs仍有很大的改进空间。结果还显示，助手AI的定位可能会削弱LLMs的人类情感感知及其对人类日常生活信息的掌握。

🔬 方法详解

问题定义：本文旨在评估大型语言模型（LLMs）作为人类对话系统的能力，现有方法在评估标准和任务设计上存在不足，无法全面反映LLMs的对话能力。

核心思路：通过设计DialogBench评估基准，包含12个对话任务，利用GPT-4生成评估实例，旨在全面评估LLMs的人类对话能力，并减轻现有偏见。

技术框架：整体架构包括任务设计、实例生成和评估三个主要模块。首先设计对话任务，然后使用GPT-4生成相应的评估实例，最后对生成的实例进行质量评估。

关键创新：DialogBench的提出是本研究的核心创新，它通过系统化的任务设计和实例生成方法，填补了现有评估方法的空白，提供了更全面的评估标准。

关键设计：在任务设计中，采用了广泛使用的设计原则，并针对现有偏见进行了调整，以确保生成的评估实例质量更高。

📊 实验亮点

实验结果显示，指令调优在一定程度上提高了26个LLMs的人类相似性，但大多数模型仍有较大改进空间。具体而言，某些模型在情感感知和日常生活信息掌握方面表现不佳，显示出助手AI定位对性能的影响。

🎯 应用场景

该研究的潜在应用领域包括智能客服、虚拟助手和社交机器人等。通过提升LLMs的人类对话能力，可以增强用户体验，促进人机交互的自然性和流畅性，未来可能在教育、医疗和娱乐等多个领域产生深远影响。

📄 摘要（原文）

Large language models (LLMs) have achieved remarkable breakthroughs in new dialogue capabilities by leveraging instruction tuning, which refreshes human impressions of dialogue systems. The long-standing goal of dialogue systems is to be human-like enough to establish long-term connections with users. Therefore, there has been an urgent need to evaluate LLMs as human-like dialogue systems. In this paper, we propose DialogBench, a dialogue evaluation benchmark that contains 12 dialogue tasks to probe the capabilities of LLMs as human-like dialogue systems should have. Specifically, we prompt GPT-4 to generate evaluation instances for each task. We first design the basic prompt based on widely used design principles and further mitigate the existing biases to generate higher-quality evaluation instances. Our extensive tests on English and Chinese DialogBench of 26 LLMs show that instruction tuning improves the human likeness of LLMs to a certain extent, but most LLMs still have much room for improvement as human-like dialogue systems. Interestingly, results also show that the positioning of assistant AI can make instruction tuning weaken the human emotional perception of LLMs and their mastery of information about human daily life.