A User-Centric Multi-Intent Benchmark for Evaluating Large Language Models

📄 arXiv: 2404.13940v3 📥 PDF

作者: Jiayin Wang, Fengran Mo, Weizhi Ma, Peijie Sun, Min Zhang, Jian-Yun Nie

分类: cs.CL

发布日期: 2024-04-22 (更新: 2024-09-20)

🔗 代码/项目: GITHUB

💡 一句话要点

提出用户中心的多意图基准以评估大型语言模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 用户中心评估 多意图基准 真实使用案例 用户需求分析

📋 核心要点

  1. 现有的评估基准主要集中在特定的模型能力上，难以满足用户的多样化需求。
  2. 论文提出从用户中心的视角设计评估基准，收集真实的用户意图和需求数据。
  3. 通过与人类偏好的高相关性，验证了所提出的用户中心基准的有效性和实用性。

📝 摘要（中文）

大型语言模型（LLMs）是用户在多种场景中使用的重要工具，因此评估其性能并指导用户选择合适的服务至关重要。尽管已有许多基准存在，但它们主要集中在特定的预定义模型能力上，如世界知识和推理等。基于这些能力评分，用户很难确定哪种LLM最适合他们的特定需求。为了解决这些问题，我们提出从用户中心的角度评估LLMs，并设计了一个基准来衡量其在满足不同意图下用户需求的有效性。我们收集了来自712名参与者的1846个真实使用案例，形成了用户报告场景（URS）数据集，并对10个LLM服务进行了基准测试，结果显示基准评分与人类偏好高度一致，验证了我们的评估方法的有效性。

🔬 方法详解

问题定义：本论文旨在解决现有评估基准无法满足用户多样化需求的问题，现有方法主要关注特定的模型能力，缺乏用户视角的综合评估。

核心思路：通过收集真实用户的使用案例，形成用户报告场景（URS）数据集，从而基于用户意图设计评估标准，确保评估结果更贴近实际使用需求。

技术框架：整体架构包括三个主要阶段：首先，进行用户研究以收集真实使用案例；其次，基于收集的数据对10个LLM服务进行基准测试；最后，分析基准评分与人类偏好的相关性。

关键创新：最重要的创新在于从用户中心出发，设计了一个多意图评估基准，突破了传统基准仅关注模型能力的局限，提供了更全面的评估视角。

关键设计：在数据收集阶段，采用了712名参与者的真实反馈，形成六种用户意图的分类；在评估阶段，使用GPT-4作为评判者，确保评估的客观性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基准评分与人类偏好的Pearson相关性达到0.95和0.94，显示出所提出的评估方法在真实世界应用中的有效性，显著提升了用户选择的准确性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、客服系统和教育工具等，能够帮助用户根据自身需求选择最合适的语言模型服务。通过提供用户中心的评估基准，未来可以推动LLM的进一步优化和应用，提升用户体验。

📄 摘要（原文）

Large language models (LLMs) are essential tools that users employ across various scenarios, so evaluating their performance and guiding users in selecting the suitable service is important. Although many benchmarks exist, they mainly focus on specific predefined model abilities, such as world knowledge, reasoning, etc. Based on these ability scores, it is hard for users to determine which LLM best suits their particular needs. To address these issues, we propose to evaluate LLMs from a user-centric perspective and design this benchmark to measure their efficacy in satisfying user needs under distinct intents. Firstly, we collect 1,846 real-world use cases from a user study with 712 participants from 23 countries. This first-hand data helps us understand actual user intents and needs in LLM interactions, forming the User Reported Scenarios (URS) dataset, which is categorized with six types of user intents. Secondly, based on this authentic dataset, we benchmark 10 LLM services with GPT-4-as-Judge. Thirdly, we show that benchmark scores align well with human preference in both real-world experience and pair-wise annotations, achieving Pearson correlations of 0.95 and 0.94, respectively. This alignment confirms that the URS dataset and our evaluation method establish an effective user-centric benchmark. The dataset, code, and process data are available at https://github.com/Alice1998/URS.