LV-Eval: A Balanced Long-Context Benchmark with 5 Length Levels Up to 256K

📄 arXiv: 2402.05136v3 📥 PDF

作者: Tao Yuan, Xuefei Ning, Dong Zhou, Zhijie Yang, Shiyao Li, Minghui Zhuang, Zheyue Tan, Zhuyu Yao, Dahua Lin, Boxun Li, Guohao Dai, Shengen Yan, Yu Wang

分类: cs.CL

发布日期: 2024-02-06 (更新: 2025-10-22)

🔗 代码/项目: GITHUB

💡 一句话要点

提出LV-Eval以解决长上下文基准评估不足的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长上下文评估 大型语言模型 混淆信息 问答系统 基准测试

📋 核心要点

  1. 现有基准的上下文长度普遍不足，导致评估结果偏差和知识泄露问题。
  2. LV-Eval通过引入混淆事实和关键词替换等技术，提供可控的长上下文评估。
  3. 实验结果表明，部分大型语言模型在LV-Eval上表现优异，但在混淆信息下性能显著下降。

📝 摘要（中文）

当前的主流基准在上下文长度上普遍不足，导致评估结果存在偏差。本文提出LV-Eval，一个具有五个长度级别（16k、32k、64k、128k和256k）的长上下文基准，旨在提供更全面的评估。LV-Eval包含单跳和多跳问答两大任务，设计中引入了混淆事实插入、关键词和短语替换、基于关键词回忆的度量设计等三项关键技术。通过对15个大型语言模型的评估，结果显示在256k上下文长度下，Moonshot-v1等模型表现优异，同时也揭示了模型在面对混淆信息时性能显著下降的问题。

🔬 方法详解

问题定义：当前主流基准的上下文长度通常在5k到21k之间，无法充分评估大型语言模型的能力，且存在知识泄露和不准确的评估指标问题。

核心思路：LV-Eval通过设计五个不同的上下文长度级别（16k、32k、64k、128k、256k），并引入混淆信息和关键词替换，旨在提供更具挑战性的评估环境。

技术框架：LV-Eval的整体架构包括两个主要任务：单跳问答和多跳问答，涵盖11个双语数据集，设计中结合了混淆事实插入、关键词替换和基于关键词的评估指标。

关键创新：LV-Eval的创新在于其长上下文评估的多样性和挑战性，尤其是在处理混淆信息时的评估能力，显著改善了现有方法的评估偏差。

关键设计：在设计中，采用了混淆事实插入和关键词替换等技术，确保模型在面对复杂信息时的评估准确性，同时设计了基于关键词回忆的度量标准，以提高评估的客观性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在对15个大型语言模型的评估中，Moonshot-v1和Qwen-2.5-72B等模型在LV-Eval上表现最佳，尤其是在64k以下的长度上表现突出。实验还显示，模型在混淆信息下性能显著下降，揭示了知识泄露和评估偏差的问题，LV-Eval有效缓解了这些问题。

🎯 应用场景

LV-Eval的设计可广泛应用于大型语言模型的评估，尤其是在需要处理长上下文的任务中，如文档理解、对话系统和信息检索等领域。其提供的多样化评估标准将推动模型的进一步优化和应用。未来，LV-Eval可能成为评估长上下文处理能力的标准基准，促进相关研究的发展。

📄 摘要（原文）

State-of-the-art large language models (LLMs) are now claiming remarkable supported context lengths of 256k or even more. In contrast, the average context lengths of mainstream benchmarks are insufficient (5k-21k), and they suffer from potential knowledge leakage and inaccurate metrics, resulting in biased evaluation. This paper introduces LV-Eval, a challenging long-context benchmark with five length levels (16k, 32k, 64k, 128k, and 256k) reaching up to 256k words. LV-Eval features two main tasks, single-hop QA and multi-hop QA, comprising 11 bilingual datasets. The design of LV-Eval has incorporated three key techniques, namely confusing facts insertion, keyword and phrase replacement, and keyword-recall-based metric design. The advantages of LV-Eval include controllable evaluation across different context lengths, challenging test instances with confusing facts, mitigated knowledge leakage, and more objective evaluations. We evaluate 15 LLMs on LV-Eval and conduct ablation studies on the benchmarking techniques. The results reveal that: (i) Moonshot-v1 and recent large-scale open-source models, such as Qwen-2.5-72B and Llama-3.1-70B, achieve the highest performance on LV-Eval, particularly at lengths below 64k. (ii) Models exhibit distinct score trends. For example, GLM-4-9B-128k, Yi-6B-200k, and Llama3-8B-1M exhibit a relatively gentle degradation of performance, but their absolute performances may not necessarily be higher than those of LLMs with shorter context lengths. (iii) LLMs' performances can significantly degrade in the presence of confusing information, especially in the pressure test of "needle in a haystack". (iv) Issues related to knowledge leakage and inaccurate metrics introduce bias in evaluation, and these concerns are alleviated in LV-Eval. All datasets and evaluation codes are released at: https://github.com/infinigence/LVEval.