Marathon: A Race Through the Realm of Long Context with Large Language Models

📄 arXiv: 2312.09542v2 📥 PDF

作者: Lei Zhang, Yunshui Li, Ziqiang Liu, Jiaxi yang, Junhao Liu, Longze Chen, Run Luo, Min Yang

分类: cs.CL

发布日期: 2023-12-15 (更新: 2024-06-26)

🔗 代码/项目: GITHUB

💡 一句话要点

Marathon：提出长文本大语言模型评测基准，解决现有基准不足。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长文本理解 大型语言模型 评估基准 多项选择题 模型评估 自然语言处理 长文本推理

📋 核心要点

  1. 现有长文本基准无法有效评估LLM在长文本中的理解和推理能力，且F1指标评分方式存在偏差。
  2. Marathon采用多项选择题形式，旨在克服现有基准的约束，提供快速、精确和公正的评估。
  3. 通过对多种LLM的全面评估，验证了Marathon基准的有效性，并评估了长文本生成优化策略。

📝 摘要（中文）

随着大型语言模型（LLM）的发展和上下文窗口的扩展，现有的长文本基准在有效评估模型在扩展文本中的理解和推理能力方面存在不足。此外，依赖于F1指标的传统基准通常会不准确地对响应进行评分：它们可能低估与参考响应不同的正确答案，而高估与参考文本相似的错误答案。为了应对这些限制，我们引入了Marathon，这是一个采用多项选择题形式的新型评估基准。它专门设计用于克服先前基准的约束，并为大型语言模型的长文本理解技能提供快速、精确和公正的评估。我们使用一系列最先进的LLM在Marathon基准上进行了全面的评估，并评估了为长文本生成量身定制的各种优化策略的有效性。我们预计Marathon基准及其相关的排行榜将能够对LLM在理解和推理扩展上下文方面的能力进行更精确和公平的评估。Marathon可在https://github.com/Hambaobao/Marathon上获取。

🔬 方法详解

问题定义：现有长文本评估基准无法充分评估大型语言模型在长文本上的理解和推理能力。传统的F1指标在评估生成式模型时存在固有缺陷，容易误判正确答案或错误答案，导致评估结果不准确。因此，需要一种更精确、公正的评估方法来衡量LLM在长文本处理方面的能力。

核心思路：Marathon基准的核心思路是采用多项选择题的形式进行评估。这种形式避免了生成式评估中F1指标的局限性，能够更直接地衡量模型对长文本的理解程度。通过精心设计的多项选择题，可以考察模型在长文本中定位关键信息、进行推理和做出判断的能力。

技术框架：Marathon基准的整体框架包括以下几个主要组成部分：1) 长文本数据集：包含各种领域和类型的长文本材料。2) 多项选择题生成模块：根据长文本内容自动生成多项选择题，确保问题能够有效考察模型的理解和推理能力。3) 评估模块：将长文本和多项选择题输入LLM，记录模型的答案，并计算准确率等指标。4) 排行榜：展示不同LLM在Marathon基准上的性能，方便研究者进行比较和分析。

关键创新：Marathon基准的关键创新在于其评估形式的选择。与传统的生成式评估相比，多项选择题形式更加直接和客观，能够更准确地反映模型对长文本的理解程度。此外，Marathon基准还注重问题的设计，力求考察模型在长文本中定位关键信息、进行推理和做出判断的能力，从而更全面地评估模型的长文本处理能力。

关键设计：Marathon基准的关键设计包括：1) 多样化的长文本数据集：涵盖各种领域和类型的长文本材料，确保基准的通用性。2) 精心设计的多项选择题：问题设计注重考察模型在长文本中定位关键信息、进行推理和做出判断的能力。3) 标准化的评估流程：确保评估结果的可重复性和可比性。4) 公开的排行榜：方便研究者进行比较和分析，促进长文本处理技术的发展。

📊 实验亮点

论文通过在Marathon基准上对多种最先进的LLM进行评估，展示了该基准的有效性。实验结果表明，Marathon基准能够更准确地评估LLM在长文本处理方面的能力，并为长文本生成优化策略的评估提供了可靠的平台。具体的性能数据和对比基线将在论文中详细展示。

🎯 应用场景

Marathon基准的潜在应用领域包括：大型语言模型的评估与优化、长文本信息检索、智能问答系统、文档摘要生成等。通过使用Marathon基准，可以更准确地评估LLM在长文本处理方面的能力，从而推动相关技术的发展和应用。未来，Marathon基准可以扩展到更多领域和语言，为LLM的长文本处理能力提供更全面的评估。

📄 摘要（原文）

With the advancement of large language models (LLMs) and the expansion of their context windows, existing long-context benchmarks fall short in effectively evaluating the models' comprehension and reasoning abilities in extended texts. Moreover, conventional benchmarks relying on F1 metrics often inaccurately score responses: they may undervalue correct answers that differ from the reference responses and overvalue incorrect ones that resemble the reference texts. In response to these limitations, we introduce Marathon, a novel evaluation benchmark that adopts a multiple-choice question format. It is specifically designed to overcome the constraints of previous benchmarks and provide a rapid, precise, and unbiased appraisal of the long-context comprehension skills of large language models. We conducted comprehensive evaluations on the Marathon benchmark with a range of state-of-the-art LLMs and assessed the effectiveness of various optimization strategies tailored for long-context generation. We anticipate that the Marathon benchmark and its associated leaderboard will enable a more precise and equitable evaluation of LLMs' capabilities in understanding and reasoning over extended contexts. Marathon is available at https://github.com/Hambaobao/Marathon.