MT-Bench-101: A Fine-Grained Benchmark for Evaluating Large Language Models in Multi-Turn Dialogues

📄 arXiv: 2402.14762v3 📥 PDF

作者: Ge Bai, Jie Liu, Xingyuan Bu, Yancheng He, Jiaheng Liu, Zhanhui Zhou, Zhuoran Lin, Wenbo Su, Tiezheng Ge, Bo Zheng, Wanli Ouyang

分类: cs.CL, cs.AI

发布日期: 2024-02-22 (更新: 2024-11-05)

备注: [ACL 2024] The first three authors contribute equally, 34 pages, repo at https://github.com/mtbench101/mt-bench-101

DOI: 10.18653/v1/2024.acl-long.401

🔗 代码/项目: GITHUB

💡 一句话要点

提出MT-Bench-101以解决多轮对话评估不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 多轮对话 能力评估 对话系统 基准测试

📋 核心要点

  1. 现有的对话评估基准主要集中在单轮对话，缺乏对多轮对话的细致评估，导致评估结果不够全面。
  2. 论文提出MT-Bench-101，通过分析真实多轮对话数据，构建了一个三层次的能力分类体系，以评估LLMs的多轮对话能力。
  3. 对21个流行LLMs的评估结果显示，现有对齐技术和设计未能显著提升多轮对话能力，且任务设计有效评估了相关能力。

📝 摘要（中文）

大型语言模型（LLMs）的出现极大提升了对话系统的能力。然而，全面评估LLMs的对话能力仍然面临挑战。现有基准主要集中在单轮对话，或对多轮对话的评估过于粗糙和不完整，忽视了现实对话的复杂性和细微差别。为了解决这一问题，我们提出了MT-Bench-101，专门设计用于评估LLMs在多轮对话中的细粒度能力。通过对真实多轮对话数据的详细分析，我们构建了一个包含4208轮对话的三层次能力分类体系，并对21个流行的LLMs进行了评估，观察到不同任务中LLMs在对话轮次上的表现趋势。进一步分析表明，常用的对齐技术和特定设计并未明显提升LLMs的多轮能力。

🔬 方法详解

问题定义：本论文旨在解决现有对话评估基准在多轮对话评估中的不足，尤其是缺乏细粒度的能力评估，导致对LLMs的真实对话能力评估不够全面和准确。

核心思路：通过对真实多轮对话数据的深入分析，构建一个包含4208轮对话的三层次能力分类体系，以便更细致地评估LLMs在多轮对话中的表现。

技术框架：整体架构包括数据收集、能力分类、模型评估三个主要模块。首先，收集真实对话数据；其次，基于对话内容构建能力分类体系；最后，对21个流行的LLMs进行评估，分析其在不同任务中的表现。

关键创新：最重要的技术创新点在于构建了一个细粒度的能力评估体系，能够全面反映LLMs在多轮对话中的能力，与现有方法相比，提供了更深入的分析视角。

关键设计：在能力分类中，设计了三层次的能力结构，涵盖了多种对话任务，并通过具体的任务设计来准确评估LLMs的多轮对话能力。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果显示，21个流行LLMs在MT-Bench-101基准上的表现存在显著差异，且常用的对齐技术和特定设计未能显著提升多轮对话能力。这表明MT-Bench-101能够有效评估LLMs的多轮对话能力，提供了新的研究方向。

🎯 应用场景

该研究的潜在应用领域包括智能客服、对话机器人和人机交互等。通过提供更全面的多轮对话能力评估，MT-Bench-101能够帮助开发者优化对话系统，提高用户体验，未来可能推动对话系统的智能化发展。

📄 摘要（原文）

The advent of Large Language Models (LLMs) has drastically enhanced dialogue systems. However, comprehensively evaluating the dialogue abilities of LLMs remains a challenge. Previous benchmarks have primarily focused on single-turn dialogues or provided coarse-grained and incomplete assessments of multi-turn dialogues, overlooking the complexity and fine-grained nuances of real-life dialogues. To address this issue, we introduce MT-Bench-101, specifically designed to evaluate the fine-grained abilities of LLMs in multi-turn dialogues. By conducting a detailed analysis of real multi-turn dialogue data, we construct a three-tier hierarchical ability taxonomy comprising 4208 turns across 1388 multi-turn dialogues in 13 distinct tasks. We then evaluate 21 popular LLMs based on MT-Bench-101, conducting comprehensive analyses from both ability and task perspectives and observing differing trends in LLMs performance across dialogue turns within various tasks. Further analysis indicates that neither utilizing common alignment techniques nor chat-specific designs has led to obvious enhancements in the multi-turn abilities of LLMs. Extensive case studies suggest that our designed tasks accurately assess the corresponding multi-turn abilities. The data and code are available at \url{https://github.com/mtbench101/mt-bench-101}.