Rethinking Generative Large Language Model Evaluation for Semantic Comprehension

📄 arXiv: 2403.07872v1 📥 PDF

作者: Fangyun Wei, Xi Chen, Lin Luo

分类: cs.CL

发布日期: 2024-03-12

💡 一句话要点

提出RWQ-Elo评分系统以解决LLM评估不一致问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 评估方法 RWQ-Elo 多项选择问答 真实世界问题 模型比较 自然语言处理

📋 核心要点

  1. 现有的多项选择问答（MCQA）评估方法在实际应用中存在与开放式响应生成不一致的问题。
  2. 提出RWQ-Elo评分系统，通过竞争性评估模拟真实场景，使用GPT-4作为评判者。
  3. RWQ-Elo系统在稳定性和新模型注册的可行性方面表现良好，有潜力重塑LLM排行榜。

📝 摘要（中文）

尽管大型语言模型（LLMs）具备复杂的能力，但在有效评估方面面临重大挑战。本文首先重新审视了流行的评估方法——多项选择问答（MCQA），指出其在实际场景中与开放式响应生成之间的不一致性。为此，提出了RWQ-Elo评分系统，通过24个LLM的竞争性评估，模拟真实使用场景，并编制了包含20,772个真实用户询问的新基准“真实世界问题”（RWQ）。此外，分析了RWQ-Elo系统的稳定性及其与现有排行榜的比较，展示了其在LLM评估中的潜力。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLMs）评估中的不一致性问题，现有的多项选择问答（MCQA）方法无法有效反映模型在开放式响应生成中的表现。

核心思路：提出RWQ-Elo评分系统，通过24个LLMs的竞争性评估，使用GPT-4作为评判者，旨在更真实地模拟用户交互场景。

技术框架：RWQ-Elo系统包括两个主要阶段：首先是模型之间的竞争性问答评估，其次是基于评估结果生成Elo评分。新基准“真实世界问题”（RWQ）提供了20,772个真实用户询问，确保评估的真实性。

关键创新：RWQ-Elo评分系统的创新在于其竞争性评估机制，区别于传统的MCQA方法，能够更好地反映模型在实际应用中的表现。

关键设计：系统设计中，Elo评分机制用于量化模型表现，确保评分的动态更新和稳定性，支持新模型的注册与比较。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RWQ-Elo系统在评估24个大型语言模型时表现出良好的稳定性和准确性，相较于传统MCQA方法，能够更真实地反映模型在开放式响应生成中的能力，具有显著的提升潜力。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能客服和教育技术等。RWQ-Elo评分系统能够为开发者提供更准确的模型评估依据，帮助优化模型性能，提升用户体验，未来可能影响LLM的应用标准和评估方法。

📄 摘要（原文）

Despite their sophisticated capabilities, large language models (LLMs) encounter a major hurdle in effective assessment. This paper first revisits the prevalent evaluation method-multiple choice question answering (MCQA), which allows for straightforward accuracy measurement. Through a comprehensive evaluation of 24 models across 11 benchmarks, we highlight several potential drawbacks of MCQA, for instance, the inconsistency between the MCQA evaluation and the generation of open-ended responses in practical scenarios. In response, we introduce an RWQ-Elo rating system, engaging 24 LLMs such as GPT-4, GPT-3.5, Google-Gemini-Pro and LLaMA-1/-2, in a two-player competitive format, with GPT-4 serving as the judge. Each LLM receives an Elo rating thereafter. This system is designed to mirror real-world usage, and for this purpose, we have compiled a new benchmark called ``Real-world questions'' (RWQ), comprising 20,772 authentic user inquiries. Additionally, we thoroughly analyze the characteristics of our system and compare it with prior leaderboards like AlpacaEval and MT-Bench. Our analysis reveals the stability of our RWQ-Elo system, the feasibility of registering new models, and its potential to reshape LLM leaderboards.