MT-Eval: A Multi-Turn Capabilities Evaluation Benchmark for Large Language Models

📄 arXiv: 2401.16745v1 📥 PDF

作者: Wai-Chung Kwan, Xingshan Zeng, Yuxin Jiang, Yufei Wang, Liangyou Li, Lifeng Shang, Xin Jiang, Qun Liu, Kam-Fai Wong

分类: cs.CL

发布日期: 2024-01-30

备注: Code and data are available at https://github.com/KwanWaiChung/MT-Eval

💡 一句话要点

提出MT-Eval以解决多轮对话能力评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多轮对话 语言模型 评估基准 人机交互 自然语言处理

📋 核心要点

  1. 现有基准主要集中在单轮对话评估，缺乏对多轮对话能力的全面评估，导致模型在实际应用中的表现未被充分理解。
  2. 本文提出MT-Eval基准，通过分析人类与LLM的对话，构建多轮查询并分类为回忆、扩展、精炼和跟进四类，以评估多轮对话能力。
  3. 实验结果显示，11个知名LLM在多轮设置中的表现普遍低于单轮设置，且某些开源模型在特定任务上超越了GPT-3.5-Turbo。

📝 摘要（中文）

大型语言模型（LLMs）在复杂的多轮对话中越来越受到依赖，但现有基准主要集中在单轮评估，忽视了模型在多轮交互中的能力。为此，本文提出了MT-Eval，一个全面的基准，旨在评估多轮对话能力。通过分析人类与LLM的对话，我们将交互模式分为四类：回忆、扩展、精炼和跟进。我们为每类构建多轮查询，避免数据泄露。对1170个多轮查询的单轮版本进行比较，发现大多数模型在多轮设置中的表现显著下降，且与模型的基本能力无关。我们识别出相关内容的距离和错误传播的易感性是影响多轮表现的关键因素。MT-Eval已公开发布，以鼓励未来对更强大对话模型的研究。

🔬 方法详解

问题定义：本文旨在解决现有基准对多轮对话能力评估不足的问题。现有方法主要集中在单轮对话，无法全面反映模型在复杂交互中的表现。

核心思路：通过构建MT-Eval基准，分析人类与LLM的对话，识别多轮对话中的交互模式，并设计相应的多轮查询，以全面评估模型的多轮能力。

技术框架：整体架构包括数据收集、交互模式分类、查询构建和性能评估四个主要模块。首先分析人类对话，识别四种交互模式，然后构建多轮查询并进行评估。

关键创新：MT-Eval的创新在于其针对多轮对话能力的系统性评估，填补了现有基准的空白，提供了更全面的评估标准。

关键设计：在构建多轮查询时，采用了现有数据集的增强和使用GPT-4生成新示例的方法，以避免数据泄露。同时，创建了1170个多轮查询的单轮版本用于比较性能。实验中还分析了影响多轮表现的关键因素，如相关内容的距离和错误传播。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果显示，11个知名LLM在多轮对话设置中的表现普遍低于单轮设置，且某些开源模型在特定任务上超越了GPT-3.5-Turbo。这表明多轮对话能力的评估是一个重要的研究方向。

🎯 应用场景

该研究的潜在应用领域包括智能客服、虚拟助手和教育领域等多轮对话系统。通过提高多轮对话的评估标准，能够促进更强大和智能的对话模型的发展，从而提升用户体验和交互质量。

📄 摘要（原文）

Large language models (LLMs) are increasingly relied upon for complex multi-turn conversations across diverse real-world applications. However, existing benchmarks predominantly focus on single-turn evaluations, overlooking the models' capabilities in multi-turn interactions. To address this gap, we introduce MT-Eval, a comprehensive benchmark designed to evaluate multi-turn conversational abilities. By analyzing human-LLM conversations, we categorize interaction patterns into four types: recollection, expansion, refinement, and follow-up. We construct multi-turn queries for each category either by augmenting existing datasets or by creating new examples with GPT-4 to avoid data leakage. To study the factors impacting multi-turn abilities, we create single-turn versions of the 1170 multi-turn queries and compare performance. Our evaluation of 11 well-known LLMs shows that while closed-source models generally surpass open-source ones, certain open-source models exceed GPT-3.5-Turbo in specific tasks. We observe significant performance degradation in multi-turn settings compared to single-turn settings in most models, which is not correlated with the models' fundamental capabilities. Moreover, we identify the distance to relevant content and susceptibility to error propagation as the key factors influencing multi-turn performance. MT-Eval is released publicly to encourage future research towards more robust conversational models.