FlashDecoding++: Faster Large Language Model Inference on GPUs

📄 arXiv: 2311.01282v4 📥 PDF

作者: Ke Hong, Guohao Dai, Jiaming Xu, Qiuli Mao, Xiuhong Li, Jun Liu, Kangdi Chen, Yuhan Dong, Yu Wang

分类: cs.LG, cs.CL

发布日期: 2023-11-02 (更新: 2024-01-05)

💡 一句话要点

提出FlashDecoding++以解决大语言模型推理速度问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 推理加速 非同步softmax 双缓冲技术 启发式数据流 GPU优化 性能提升

📋 核心要点

  1. 现有方法在LLM推理中存在同步softmax更新、平面GEMM计算低利用率和静态数据流等问题，导致性能损失。
  2. FlashDecoding++通过非同步softmax、双缓冲优化和平行数据流优化等方法，解决了上述性能瓶颈。
  3. 实验表明，FlashDecoding++在NVIDIA和AMD GPU上相比Hugging Face实现可实现最高4.86倍和2.18倍的加速，平均加速1.37倍。

📝 摘要（中文）

随着大语言模型（LLM）在各个领域的重要性日益增加，LLM推理加速仍面临诸多挑战，包括同步部分softmax更新、平面GEMM计算的低利用率以及静态数据流导致的性能损失。为此，本文提出了FlashDecoding++，一个支持主流LLM和硬件后端的快速推理引擎。FlashDecoding++通过引入非同步softmax、双缓冲平面GEMM优化和启发式数据流优化等技术，显著提高了推理速度。实验结果表明，FlashDecoding++在NVIDIA和AMD GPU上相比Hugging Face实现可实现最高4.86倍和2.18倍的加速，且在主流LLM上平均加速1.37倍。

🔬 方法详解

问题定义：本文旨在解决大语言模型推理中的性能瓶颈，主要包括同步softmax更新导致的20%开销、平面GEMM计算的低利用率以及静态数据流导致的50.25%性能损失。

核心思路：FlashDecoding++通过引入非同步softmax和统一最大值技术，避免了同步开销，同时采用双缓冲技术优化平面GEMM计算，并根据硬件资源动态调整数据流，以提高整体性能。

技术框架：FlashDecoding++的整体架构包括三个主要模块：非同步softmax模块、双缓冲GEMM模块和启发式数据流模块。每个模块针对特定的性能瓶颈进行优化，协同工作以提升推理速度。

关键创新：最重要的技术创新在于非同步softmax的引入和统一最大值的使用，这与传统方法的同步更新方式形成了鲜明对比。此外，双缓冲技术和启发式数据流优化也是其核心创新点。

关键设计：在设计中，FlashDecoding++采用了统一最大值来处理不同的softmax计算，双缓冲技术用于平面GEMM的优化，并根据输入动态特征调整数据流，以适应不同硬件配置。具体参数设置和网络结构细节在论文中有详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，FlashDecoding++在NVIDIA和AMD GPU上相比Hugging Face实现可实现最高4.86倍和2.18倍的加速，且在主流LLM上平均加速1.37倍。这些结果表明，FlashDecoding++在提升大语言模型推理性能方面具有显著优势，能够有效应对现有方法的不足。

🎯 应用场景

FlashDecoding++的研究成果在自然语言处理、对话系统和机器翻译等领域具有广泛的应用潜力。通过显著提升大语言模型的推理速度，该技术能够加速智能助手、在线翻译和内容生成等应用的响应时间，提升用户体验。此外，随着大语言模型的普及，FlashDecoding++的优化方案也将推动更高效的AI系统的开发和部署。

📄 摘要（原文）

As the Large Language Model (LLM) becomes increasingly important in various domains. However, the following challenges still remain unsolved in accelerating LLM inference: (1) Synchronized partial softmax update. The softmax operation requires a synchronized update operation among each partial softmax result, leading to ~20% overheads for the attention computation in LLMs. (2) Under-utilized computation of flat GEMM. The shape of matrices performing GEMM in LLM inference is flat, leading to under-utilized computation and >50% performance loss after padding zeros in previous designs. (3) Performance loss due to static dataflow. Kernel performance in LLM depends on varied input data features, hardware configurations, etc. A single and static dataflow may lead to a 50.25% performance loss for GEMMs of different shapes in LLM inference. We present FlashDecoding++, a fast LLM inference engine supporting mainstream LLMs and hardware back-ends. To tackle the above challenges, FlashDecoding++ creatively proposes: (1) Asynchronized softmax with unified max value. FlashDecoding++ introduces a unified max value technique for different partial softmax computations to avoid synchronization. (2) Flat GEMM optimization with double buffering. FlashDecoding++ points out that flat GEMMs with different shapes face varied bottlenecks. Then, techniques like double buffering are introduced. (3) Heuristic dataflow with hardware resource adaptation. FlashDecoding++ heuristically optimizes dataflow using different hardware resource considering input dynamics. Due to the versatility of optimizations in FlashDecoding++, FlashDecoding++ can achieve up to 4.86x and 2.18x speedup on both NVIDIA and AMD GPUs compared to Hugging Face implementations. FlashDecoding++ also achieves an average speedup of 1.37x compared to state-of-the-art LLM inference engines on mainstream LLMs.