Ada-LEval: Evaluating long-context LLMs with length-adaptable benchmarks

📄 arXiv: 2404.06480v2 📥 PDF

作者: Chonghua Wang, Haodong Duan, Songyang Zhang, Dahua Lin, Kai Chen

分类: cs.CL, cs.AI

发布日期: 2024-04-09 (更新: 2024-04-10)

备注: NAACL 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出Ada-LEval以解决长文本评估的不足问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长文本评估 大型语言模型 超长文本 自然语言处理 模型评估

📋 核心要点

  1. 现有长文本评估基准难以全面评估模型在不同长度范围内的能力，且未覆盖超长文本设置。
  2. 提出Ada-LEval基准，包含可调长度的测试样本，支持生成高达128k tokens的文本，提供更可靠的评估。
  3. 通过Ada-LEval评估多种模型，结果揭示了当前LLM在超长上下文处理中的局限性。

📝 摘要（中文）

近年来，大型语言模型（LLM）社区对增强LLM处理极长文档的能力表现出越来越大的兴趣。随着各种长文本技术和模型架构的出现，精确评估模型的长文本能力变得愈发重要。现有的长文本评估基准，如L-Eval和LongBench，主要基于开源数据集构建，集中于问答和摘要任务，且样本长度不一，难以全面评估模型在不同长度范围内的能力。此外，它们未涵盖最新LLM声称能够处理的超长设置（100k+ tokens）。本文提出了Ada-LEval，一个可调长度的基准，用于评估LLM的长文本理解能力。Ada-LEval包含两个具有挑战性的子集TSort和BestAnswer，支持对测试案例长度的复杂操作，能够轻松生成高达128k tokens的文本样本。我们使用Ada-LEval评估了4个最先进的闭源API模型和6个开源模型，结果显示当前LLM在超长上下文设置中的局限性。

🔬 方法详解

问题定义：本文旨在解决现有长文本评估基准在不同长度范围内评估模型能力的不足，尤其是未能涵盖超长文本（100k+ tokens）的问题。

核心思路：提出Ada-LEval基准，允许灵活调整测试样本的长度，从而更全面地评估LLM的长文本理解能力。通过设计两个子集TSort和BestAnswer，增强评估的可靠性。

技术框架：Ada-LEval的整体架构包括两个主要模块：TSort用于排序任务，BestAnswer用于回答任务。每个模块都支持生成不同长度的文本样本，便于评估模型在不同上下文长度下的表现。

关键创新：最重要的创新点在于其可调长度的测试样本设计，能够生成高达128k tokens的文本，这在现有评估基准中是前所未有的。

关键设计：在设计中，Ada-LEval允许对测试样本长度进行复杂操作，确保评估的多样性和全面性。具体参数设置和损失函数的选择尚未详细披露，待进一步研究。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，使用Ada-LEval评估的4个闭源API模型和6个开源模型在超长上下文设置中表现出明显的局限性，具体性能数据和提升幅度尚未详细披露，表明当前LLM在处理极长文本时仍需改进。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、信息检索和文本生成等。通过提供更可靠的长文本评估基准，Ada-LEval可以帮助研究人员和开发者更好地理解和改进LLM在处理长文本时的能力，推动相关技术的发展与应用。

📄 摘要（原文）

Recently, the large language model (LLM) community has shown increasing interest in enhancing LLMs' capability to handle extremely long documents. As various long-text techniques and model architectures emerge, the precise and detailed evaluation of models' long-text capabilities has become increasingly important. Existing long-text evaluation benchmarks, such as L-Eval and LongBench, construct long-text test sets based on open-source datasets, focusing mainly on QA and summarization tasks. These datasets include test samples of varying lengths (from 2k to 32k+) entangled together, making it challenging to assess model capabilities across different length ranges. Moreover, they do not cover the ultralong settings (100k+ tokens) that the latest LLMs claim to achieve. In this paper, we introduce Ada-LEval, a length-adaptable benchmark for evaluating the long-context understanding of LLMs. Ada-LEval includes two challenging subsets, TSort and BestAnswer, which enable a more reliable evaluation of LLMs' long context capabilities. These benchmarks support intricate manipulation of the length of test cases, and can easily produce text samples up to 128k tokens. We evaluate 4 state-of-the-art closed-source API models and 6 open-source models with Ada-LEval. The evaluation results demonstrate the limitations of current LLMs, especially in ultra-long-context settings. Our code is available at https://github.com/open-compass/Ada-LEval.