A Comparative Analysis of Microrings Based Incoherent Photonic GEMM Accelerators

📄 arXiv: 2402.03149v3 📥 PDF

作者: Sairam Sri Vatsavai, Venkata Sai Praneeth Karempudi, Oluwaseun Adewunmi Alo, Ishan Thakkar

分类: cs.AR, cs.ET, cs.LG, cs.NE

发布日期: 2024-02-05 (更新: 2024-02-16)

备注: To Appear at ISQED 2024

💡 一句话要点

提出基于微环谐振器的光子GEMM加速器以提升深度学习性能

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 微环谐振器 光子计算 深度学习 矩阵乘法 能效优化 信号处理 加速器设计

📋 核心要点

  1. 现有的MRR基光子架构在执行GEMM时未考虑信号操作顺序对性能的影响，导致效率低下。
  2. 论文提出了三种不同的信号操作顺序，系统分析了这些顺序对电路性能的影响，旨在优化GEMM加速器的设计。
  3. 实验结果表明，SMWA组织在吞吐量、能效和面积能效方面显著优于ASMW和MASW组织，展示了更高的处理能力。

📝 摘要（中文）

本文提出了一种基于微环谐振器（MRR）的光子架构，旨在加速深度神经网络中的通用矩阵乘法（GEMM），实现卓越的吞吐量和能效。研究分析了五种光信号操作方式，并比较了三种不同的操作顺序对系统性能的影响。结果表明，特定的操作顺序会显著影响电路级的串扰噪声和光信号损失，从而影响系统级的吞吐量和能效。实验结果显示，SMWA组织在吞吐量、能效和面积能效方面优于其他组织，分别提高了4.4倍、5倍和5.2倍。

🔬 方法详解

问题定义：本文旨在解决现有MRR基光子GEMM加速器在信号操作顺序未优化的情况下，导致的性能不足和能效低下的问题。

核心思路：通过比较不同的信号操作顺序（MASW、ASMW、SMWA），分析其对电路性能的影响，从而找到最优的信号处理顺序以提升整体性能。

技术框架：整体架构包括五种光信号操作方式：信号分裂、聚合、调制、加权和求和。论文重点分析了三种操作顺序的影响，评估其在电路级和系统级的表现。

关键创新：最重要的创新在于系统地比较了不同信号操作顺序对GEMM加速器性能的影响，揭示了操作顺序对串扰噪声和信号损失的显著影响。

关键设计：在设计中，重点关注了信号操作的顺序安排，具体参数设置和损失函数的选择，以及如何在不同CNN模型中实现这些操作以获得最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SMWA组织在吞吐量、能效和面积能效方面分别比ASMW和MASW组织提高了4.4倍、5倍和5.2倍，展示了其在实际应用中的显著优势。

🎯 应用场景

该研究的潜在应用领域包括深度学习加速器、光子计算和高效能计算等。通过优化GEMM加速器的设计，可以在更广泛的深度学习任务中实现更高的处理效率和能效，推动智能计算的发展。

📄 摘要（原文）

Several microring resonator (MRR) based analog photonic architectures have been proposed to accelerate general matrix-matrix multiplications (GEMMs) in deep neural networks with exceptional throughput and energy efficiency. To implement GEMM functions, these MRR-based architectures, in general, manipulate optical signals in five different ways: (i) Splitting (copying) of multiple optical signals to achieve a certain fan-out, (ii) Aggregation (multiplexing) of multiple optical signals to achieve a certain fan-in, (iii) Modulation of optical signals to imprint input values onto analog signal amplitude, (iv) Weighting of modulated optical signals to achieve analog input-weight multiplication, (v) Summation of optical signals. The MRR-based GEMM accelerators undertake the first four ways of signal manipulation in an arbitrary order ignoring the possible impact of the order of these manipulations on their performance. In this paper, we conduct a detailed analysis of accelerator organizations with three different orders of these manipulations: (1) Modulation-Aggregation-Splitting-Weighting (MASW), (2) Aggregation-Splitting-Modulation-Weighting (ASMW), and (3) Splitting-Modulation-Weighting-Aggregation (SMWA). We show that these organizations affect the crosstalk noise and optical signal losses in different magnitudes, which renders these organizations with different levels of processing parallelism at the circuit level, and different magnitudes of throughput and energy-area efficiency at the system level. Our evaluation results for four CNN models show that SMWA organization achieves up to 4.4$\times$, 5$\times$, and 5.2$\times$ better throughput, energy efficiency, and area-energy efficiency, respectively, compared to ASMW and MASW organizations on average.