$\infty$Bench: Extending Long Context Evaluation Beyond 100K Tokens
作者: Xinrong Zhang, Yingfa Chen, Shengding Hu, Zihang Xu, Junhao Chen, Moo Khai Hao, Xu Han, Zhen Leng Thai, Shuo Wang, Zhiyuan Liu, Maosong Sun
分类: cs.CL
发布日期: 2024-02-21 (更新: 2024-02-24)
期刊: 2023.12.15ARR
💡 一句话要点
提出$ackslashackslash ext{∞}Bench$以解决长文本处理评估问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长文本处理 大型语言模型 基准评估 自然语言处理 长依赖关系
📋 核心要点
- 现有的长上下文处理基准主要集中在1万标记左右，无法有效评估LLMs在处理超过10万标记的能力。
- 提出$ackslashackslash ext{∞}Bench$基准，专注于长上下文任务，平均数据长度超过10万标记，涵盖多种领域和语言。
- 实验结果显示，当前的长上下文LLMs在处理超过10万标记的上下文时仍需显著提升，且提供了三项有趣的分析。
📝 摘要（中文）
处理和推理长上下文对于大型语言模型（LLMs）的许多实际应用至关重要，例如文档理解和智能体构建。尽管最近在使LLMs处理超过10万标记的上下文方面取得了进展，但目前缺乏标准化基准来评估这种长上下文能力。现有公共基准通常集中在约1万标记的上下文上，限制了对LLMs在处理更长上下文时的评估和比较。本文提出了$ackslashackslash ext{∞}Bench$，这是第一个平均数据长度超过10万标记的LLM基准。$ackslashackslash ext{∞}Bench$包含合成和现实任务，涵盖多个领域，以英语和中文呈现。这些任务设计要求对上下文中的长依赖关系有良好的理解，简单地从上下文中检索有限数量的段落不足以完成这些任务。基于$ackslashackslash ext{∞}Bench$，我们评估了针对长上下文处理的最新专有和开源LLMs，结果表明现有的长上下文LLMs仍需显著改进以有效处理超过10万的上下文。
🔬 方法详解
问题定义：本文旨在解决缺乏标准化基准以评估大型语言模型在处理超过10万标记的长上下文能力的问题。现有方法主要集中在较短上下文，限制了对模型性能的全面评估。
核心思路：提出$ackslashackslash ext{∞}Bench$，设计一系列需要深刻理解长依赖关系的任务，确保简单的段落检索无法满足任务需求，从而推动模型在长上下文处理上的进步。
技术框架：$ackslashackslash ext{∞}Bench$的整体架构包括多个任务模块，涵盖合成和现实场景，任务以英语和中文呈现，确保多样性和广泛适用性。
关键创新：最重要的创新在于首次提出一个平均数据长度超过10万标记的基准，填补了现有基准在长上下文处理评估上的空白。
关键设计：任务设计中考虑了长依赖关系的理解，采用了多样化的任务类型和领域，以确保模型在长上下文处理上的全面评估。
🖼️ 关键图片
📊 实验亮点
实验结果表明，现有的长上下文LLMs在处理超过10万标记的上下文时仍需显著改进，具体表现为在多个任务上未能达到预期的性能水平，显示出对模型进一步优化的需求。
🎯 应用场景
该研究的潜在应用领域包括文档理解、智能体构建和其他需要处理长文本的自然语言处理任务。通过提供一个标准化的评估基准，$ackslashackslash ext{∞}Bench$将推动LLMs在长上下文处理能力上的研究和应用，提升实际应用的效果和效率。
📄 摘要（原文）
Processing and reasoning over long contexts is crucial for many practical applications of Large Language Models (LLMs), such as document comprehension and agent construction. Despite recent strides in making LLMs process contexts with more than 100K tokens, there is currently a lack of a standardized benchmark to evaluate this long-context capability. Existing public benchmarks typically focus on contexts around 10K tokens, limiting the assessment and comparison of LLMs in processing longer contexts. In this paper, we propose $\infty$Bench, the first LLM benchmark featuring an average data length surpassing 100K tokens. $\infty$Bench comprises synthetic and realistic tasks spanning diverse domains, presented in both English and Chinese. The tasks in $\infty$Bench are designed to require well understanding of long dependencies in contexts, and make simply retrieving a limited number of passages from contexts not sufficient for these tasks. In our experiments, based on $\infty$Bench, we evaluate the state-of-the-art proprietary and open-source LLMs tailored for processing long contexts. The results indicate that existing long context LLMs still require significant advancements to effectively process 100K+ context. We further present three intriguing analyses regarding the behavior of LLMs processing long context.