Anchor-based Large Language Models

📄 arXiv: 2402.07616v3 📥 PDF

作者: Jianhui Pang, Fanghua Ye, Derek Fai Wong, Xin He, Wanshun Chen, Longyue Wang

分类: cs.CL, cs.AI

发布日期: 2024-02-12 (更新: 2024-06-01)

备注: The paper has been accepted by the ACL2024 conference. Work was done when Jianhui Pang and Fanghua Ye were interning at Tencent AI Lab

💡 一句话要点

提出基于锚点的大型语言模型以解决内存消耗问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 锚点自注意力 推理效率 内存优化 自然语言处理

📋 核心要点

  1. 现有的仅解码器变换器架构在处理长文本时面临巨大的内存消耗问题，限制了其应用。
  2. 本文提出的AnLLMs通过锚点自注意力网络（AnSAN）和锚点推理策略，有效压缩序列信息，降低内存需求。
  3. 实验结果显示，AnLLMs在准确度相近的情况下，实现了99%的键/值缓存减少和3.5倍的推理速度提升。

📝 摘要（中文）

大型语言模型（LLMs）主要采用仅解码器的变换器架构，这要求保留历史标记的键/值信息以提供上下文信息并避免冗余计算。然而，这些模型的庞大规模和参数量导致了巨大的GPU内存需求，尤其是输入文本长度增加时。本文提出了基于锚点的LLMs（AnLLMs），利用创新的锚点自注意力网络（AnSAN）和锚点推理策略，将序列信息压缩到锚点标记中，从而减少键/值缓存并提高推理效率。实验结果表明，AnLLMs在保持相似准确度的同时，实现了高达99%的键/值缓存减少和3.5倍的推理速度提升，尽管准确度略有妥协，但在资源利用和计算效率上的显著提升展示了AnLLMs在实际应用中的潜力。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在处理长文本时的内存消耗问题。现有的仅解码器变换器架构需要保留大量的键/值信息，导致GPU内存需求极高，限制了其实际应用。

核心思路：论文提出的AnLLMs通过引入锚点自注意力网络（AnSAN）和锚点推理策略，将序列信息压缩为锚点标记，从而减少内存占用并提高推理效率。这样的设计使得模型在保持上下文信息的同时，显著降低了计算资源的需求。

技术框架：AnLLMs的整体架构包括锚点自注意力网络（AnSAN）作为核心模块，负责信息的压缩和提取；同时，锚点推理策略用于优化推理过程，减少对历史信息的依赖。

关键创新：AnLLMs的主要创新在于锚点自注意力网络（AnSAN），它通过压缩序列信息为锚点标记，显著减少了键/值缓存的需求。这与传统方法的逐步存储历史信息的方式形成了鲜明对比。

关键设计：在设计中，AnSAN采用了特定的参数设置以优化信息压缩效果，损失函数则关注于保持上下文信息的完整性。网络结构上，AnSAN结合了多层自注意力机制，以实现高效的信息处理。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果显示，AnLLMs在保持相似准确度的情况下，实现了高达99%的键/值缓存减少和3.5倍的推理速度提升。这一显著的性能提升表明，AnLLMs在实际应用中具有极大的潜力。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和对话生成等。通过提高大型语言模型的推理效率和资源利用率，AnLLMs能够在资源受限的环境中实现更广泛的应用，推动智能系统的普及和发展。

📄 摘要（原文）

Large language models (LLMs) predominantly employ decoder-only transformer architectures, necessitating the retention of keys/values information for historical tokens to provide contextual information and avoid redundant computation. However, the substantial size and parameter volume of these LLMs require massive GPU memory. This memory demand increases with the length of the input text, leading to an urgent need for more efficient methods of information storage and processing. This study introduces Anchor-based LLMs (AnLLMs), which utilize an innovative anchor-based self-attention network (AnSAN) and also an anchor-based inference strategy. This approach enables LLMs to compress sequence information into an anchor token, reducing the keys/values cache and enhancing inference efficiency. Experiments on question-answering benchmarks reveal that AnLLMs maintain similar accuracy levels while achieving up to 99% keys/values cache reduction and up to 3.5 times faster inference. Despite a minor compromise in accuracy, the substantial enhancements of AnLLMs employing the AnSAN technique in resource utilization and computational efficiency underscore their potential for practical LLM applications.