Bespoke Approximation of Multiplication-Accumulation and Activation Targeting Printed Multilayer Perceptrons

📄 arXiv: 2312.17612v3 📥 PDF

作者: Florentia Afentaki, Gurol Saglam, Argyris Kokkinis, Kostas Siozios, Georgios Zervakis, Mehdi B Tahoori

分类: cs.AR, cs.LG

发布日期: 2023-12-29 (更新: 2024-11-14)

备注: Accepted for publication at the 42th IEEE/ACM International Conference on Computer Aided Design (ICCAD) 2023, San Francisco, USA

DOI: 10.1109/ICCAD57390.2023.10323613

💡 一句话要点

针对印刷多层感知器的乘累加和激活函数的定制近似框架

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 印刷电子 多层感知器 近似计算 低功耗设计 定制设计

📋 核心要点

  1. 印刷电子器件在低成本和柔性应用中潜力巨大，但其大尺寸限制了复杂机器学习模型的部署。
  2. 该论文提出了一种自动化的定制近似框架，针对印刷电子器件的特性，优化多层感知器的乘法、累加和激活函数。
  3. 实验结果表明，该框架能够显著降低功耗，使得即使复杂的MLP架构也能在电池供电下运行。

📝 摘要（中文）

印刷电子（PE）具有独特的优势，使其成为实现真正普适计算的重要技术。这在需要共形和超低成本解决方案的应用领域尤为重要，而这些领域迄今为止在计算方面的渗透有限。与基于硅的技术不同，PE 提供了无与伦比的特性，例如非重复性工程成本、超低制造成本以及按需制造共形、柔性、无毒和可拉伸硬件。然而，由于其较大的特征尺寸，PE 面临着一定的局限性，这阻碍了诸如机器学习分类器等复杂电路的实现。在这项工作中，我们通过利用近似计算和定制（完全定制）设计的原则来解决这些限制。我们提出了一个自动化的框架，用于设计超低功耗多层感知器（MLP）分类器，该框架首次采用了一种整体方法来近似 MLP 神经元的所有功能：乘法、累加和激活。通过对各种大小的 MLP 进行全面评估，我们的框架展示了即使是最复杂的 MLP 架构也能实现电池供电运行的能力，显著超越了当前的技术水平。

🔬 方法详解

问题定义：印刷电子器件由于其较大的特征尺寸，难以实现复杂的机器学习分类器，例如多层感知器（MLP）。现有的方法可能无法充分利用印刷电子器件的特性，并且在功耗方面存在限制，阻碍了其在低功耗场景下的应用。

核心思路：该论文的核心思路是采用近似计算和定制设计，针对印刷电子器件的特性，对MLP的乘法、累加和激活函数进行优化。通过定制化的近似，可以在保证一定精度的前提下，显著降低功耗。

技术框架：该框架是一个自动化的设计流程，包括以下主要模块：1) MLP架构选择；2) 乘法器、累加器和激活函数的近似设计；3) 功耗和精度评估；4) 基于评估结果的迭代优化。该框架能够根据目标应用的需求，自动搜索最优的近似方案。

关键创新：该论文的关键创新在于首次提出了一种整体的近似方法，同时优化MLP的乘法、累加和激活函数。与以往只关注单个模块的近似方法相比，该方法能够更好地平衡功耗和精度，实现更优的性能。此外，自动化设计流程也降低了设计难度，加速了印刷电子器件在机器学习领域的应用。

关键设计：关键设计包括：1) 乘法器和累加器的近似电路结构，例如截断乘法器、近似加法器等；2) 激活函数的近似实现，例如分段线性近似、查找表等；3) 功耗和精度评估模型，用于指导近似方案的选择；4) 迭代优化算法，例如遗传算法、模拟退火等。

📊 实验亮点

该框架通过对各种大小的MLP进行全面评估，展示了即使是最复杂的MLP架构也能实现电池供电运行的能力，显著超越了当前的技术水平。具体的性能数据和对比基线在论文中进行了详细的展示，证明了该框架在功耗方面的优势。

🎯 应用场景

该研究成果可应用于各种需要低功耗和柔性电子器件的场景，例如可穿戴设备、环境监测传感器、医疗健康监测设备等。通过降低功耗，可以延长设备的使用寿命，并拓展其应用范围。此外，该研究成果还有助于推动印刷电子器件在机器学习领域的应用，实现更智能、更便捷的物联网设备。

📄 摘要（原文）

Printed Electronics (PE) feature distinct and remarkable characteristics that make them a prominent technology for achieving true ubiquitous computing. This is particularly relevant in application domains that require conformal and ultra-low cost solutions, which have experienced limited penetration of computing until now. Unlike silicon-based technologies, PE offer unparalleled features such as non-recurring engineering costs, ultra-low manufacturing cost, and on-demand fabrication of conformal, flexible, non-toxic, and stretchable hardware. However, PE face certain limitations due to their large feature sizes, that impede the realization of complex circuits, such as machine learning classifiers. In this work, we address these limitations by leveraging the principles of Approximate Computing and Bespoke (fully-customized) design. We propose an automated framework for designing ultra-low power Multilayer Perceptron (MLP) classifiers which employs, for the first time, a holistic approach to approximate all functions of the MLP's neurons: multiplication, accumulation, and activation. Through comprehensive evaluation across various MLPs of varying size, our framework demonstrates the ability to enable battery-powered operation of even the most intricate MLP architecture examined, significantly surpassing the current state of the art.