The Feasibility of Implementing Large-Scale Transformers on Multi-FPGA Platforms

📄 arXiv: 2404.16158v1 📥 PDF

作者: Yu Gao, Juan Camilo Vega, Paul Chow

分类: cs.AR, cs.DC, cs.LG

发布日期: 2024-04-24

备注: 33 pages, 24 figures

💡 一句话要点

提出多FPGA平台以实现大规模变换器的可行性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: FPGA 大型语言模型 多FPGA平台 变换器 机器学习 能效 低延迟

📋 核心要点

  1. 现有方法缺乏针对多FPGA应用的开发和部署工具，导致多FPGA平台的使用面临挑战。
  2. 论文提出了一种可扩展的多FPGA平台及工具，旨在将大型机器学习应用有效映射到多个FPGA上。
  3. 通过实现I-BERT变换器的多FPGA版本，验证了平台的有效性，并展示了FPGA在大型机器学习中的潜力。

📝 摘要（中文）

FPGA在大型机器学习应用（如大型语言模型）中的实现很少被提及。已有证据表明，单个FPGA在某些计算性能上可以与GPU竞争，尤其是在低延迟和能效方面。因此，探索多FPGA在大型机器学习应用中的使用是有意义的。本文探讨了使用多个FPGA实现大型变换器的可行性，开发了可扩展的多FPGA平台及工具，以将大型应用映射到该平台。通过设计高效的I-BERT变换器的多FPGA版本，并使用六个FPGA实现一个编码器作为概念验证，展示了我们的平台和工具的有效性。基于原型的性能估计，我们认为FPGA在大型机器学习应用中具有潜在的应用空间。

🔬 方法详解

问题定义：本文旨在解决在数据中心中实现大型机器学习应用时，缺乏多FPGA开发和部署工具的问题。现有方法未能有效支持多FPGA的应用开发，限制了FPGA的使用潜力。

核心思路：论文的核心思路是开发一个可扩展的多FPGA平台，并设计工具以便将大型应用映射到该平台上。这种设计旨在提高FPGA在大型机器学习应用中的可用性和效率。

技术框架：整体架构包括多个模块，首先是应用描述模块，用于定义大型应用；其次是映射模块，将应用映射到多个FPGA；最后是部署模块，负责在多FPGA平台上执行应用。

关键创新：最重要的技术创新在于提出了一种新的多FPGA平台及其开发工具，这与现有的单FPGA或GPU实现方法有本质区别，能够支持更大规模的机器学习模型。

关键设计：在设计中，重点考虑了FPGA的资源分配和任务调度，确保高效利用FPGA的计算能力。同时，采用了适合多FPGA协同工作的网络结构，以优化性能和降低延迟。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，使用六个FPGA实现的I-BERT变换器在性能上与GPU相比具有竞争力，尤其是在低延迟和能效方面。概念验证展示了该平台的有效性，为FPGA在大型机器学习应用中的使用提供了有力支持。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型、深度学习推理和实时数据处理等。通过有效利用FPGA，能够在降低能耗的同时提高计算效率，具有重要的实际价值。未来，随着FPGA技术的进步，该平台有望在更多大型机器学习应用中得到广泛应用。

📄 摘要（原文）

FPGAs are rarely mentioned when discussing the implementation of large machine learning applications, such as Large Language Models (LLMs), in the data center. There has been much evidence showing that single FPGAs can be competitive with GPUs in performance for some computations, especially for low latency, and often much more efficient when power is considered. This suggests that there is merit to exploring the use of multiple FPGAs for large machine learning applications. The challenge with using multiple FPGAs is that there is no commonly-accepted flow for developing and deploying multi-FPGA applications, i.e., there are no tools to describe a large application, map it to multiple FPGAs and then deploy the application on a multi-FPGA platform. In this paper, we explore the feasibility of implementing large transformers using multiple FPGAs by developing a scalable multi-FPGA platform and some tools to map large applications to the platform. We validate our approach by designing an efficient multi-FPGA version of the I-BERT transformer and implement one encoder using six FPGAs as a working proof-of-concept to show that our platform and tools work. Based on our proof-of-concept prototype and the estimations of performance using the latest FPGAs compared to GPUs, we conclude that there can be a place for FPGAs in the world of large machine learning applications. We demonstrate a promising first step that shows that with the right infrastructure and tools it is reasonable to continue to explore the possible benefits of using FPGAs for applications such as LLMs.