Make Your LLM Fully Utilize the Context

📄 arXiv: 2404.16811v2 📥 PDF

作者: Shengnan An, Zexiong Ma, Zeqi Lin, Nanning Zheng, Jian-Guang Lou

分类: cs.CL, cs.AI

发布日期: 2024-04-25 (更新: 2024-04-26)

备注: 19 pages, 7 figures, 3 tables, 9 examples

🔗 代码/项目: GITHUB

💡 一句话要点

提出信息密集训练以解决长上下文信息利用不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长上下文 信息密集训练 大型语言模型 问答系统 信息检索

📋 核心要点

  1. 现有的大型语言模型在处理长上下文时，常常无法充分利用其中的信息，导致性能下降。
  2. 论文提出的信息密集训练（IN2）通过合成长上下文问答数据集，强调长上下文中每个位置的信息重要性。
  3. FILM-7B在多种上下文风格和信息检索模式下表现出色，显著提升了在真实长上下文任务上的性能。

📝 摘要（中文）

尽管许多现代大型语言模型（LLMs）能够处理较长的输入，但在充分利用长上下文信息方面仍面临挑战，称为“迷失在中间”问题。我们假设这一问题源于长上下文训练过程中缺乏明确的监督，未能强调长上下文中任何位置都可能包含关键信息。基于这一直觉，我们提出了信息密集（IN2）训练，这是一种纯数据驱动的解决方案，旨在克服迷失在中间的问题。具体而言，IN2训练利用合成的长上下文问答数据集，要求答案需要对合成长上下文中的短片段进行细致的信息感知，并整合和推理来自两个或多个短片段的信息。通过在Mistral-7B上应用这种训练，我们提出了FILM-7B（FILl-in-the-Middle）。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型在长上下文中信息利用不足的问题，现有方法在长上下文训练中缺乏足够的监督，导致模型无法有效提取关键信息。

核心思路：论文提出的信息密集训练（IN2）通过合成长上下文问答数据集，强调长上下文中每个位置的信息重要性，促进模型对信息的全面理解和利用。

技术框架：整体架构包括数据集的合成、模型的训练和评估三个主要阶段。合成的数据集包含长上下文和短片段的问答对，训练阶段则专注于信息的整合与推理。

关键创新：最重要的技术创新点在于信息密集训练（IN2），它通过数据驱动的方法解决了长上下文中的信息提取问题，与传统方法相比，强调了信息的细粒度感知和多片段整合。

关键设计：在训练过程中，设计了特定的损失函数以增强模型对短片段信息的敏感性，并采用了适应性学习率和多层次的网络结构，以提高模型的推理能力和信息整合能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FILM-7B在多种上下文风格下的实验结果显示，其在32K上下文窗口中能够稳健地检索信息。具体而言，在NarrativeQA任务上，F1得分从23.5提升至26.9，而在短上下文任务MMLU上，准确率保持在59.3，变化不大，显示出模型在长上下文任务上的显著提升。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、信息检索和对话系统等。通过提升模型对长上下文的理解能力，可以在问答系统、文档分析和代码理解等实际场景中发挥重要作用，未来可能推动更智能的AI助手和自动化工具的发展。

📄 摘要（原文）

While many contemporary large language models (LLMs) can process lengthy input, they still struggle to fully utilize information within the long context, known as the lost-in-the-middle challenge. We hypothesize that it stems from insufficient explicit supervision during the long-context training, which fails to emphasize that any position in a long context can hold crucial information. Based on this intuition, our study presents information-intensive (IN2) training, a purely data-driven solution to overcome lost-in-the-middle. Specifically, IN2 training leverages a synthesized long-context question-answer dataset, where the answer requires (1) fine-grained information awareness on a short segment (~128 tokens) within a synthesized long context (4K-32K tokens), and (2) the integration and reasoning of information from two or more short segments. Through applying this information-intensive training on Mistral-7B, we present FILM-7B (FILl-in-the-Middle). To thoroughly assess the ability of FILM-7B for utilizing long contexts, we design three probing tasks that encompass various context styles (document, code, and structured-data context) and information retrieval patterns (forward, backward, and bi-directional retrieval). The probing results demonstrate that FILM-7B can robustly retrieve information from different positions in its 32K context window. Beyond these probing tasks, FILM-7B significantly improves the performance on real-world long-context tasks (e.g., 23.5->26.9 F1 score on NarrativeQA), while maintaining a comparable performance on short-context tasks (e.g., 59.3->59.2 accuracy on MMLU). Github Link: https://github.com/microsoft/FILM.