MIVE: A Minimalist Integer Vector Engine for Softmax LayerNorm and RMSNorm Acceleration

📄 arXiv: 2606.17781v1 📥 PDF

作者: Kosmas Alexandridis, Giorgos Dimitrakopoulos

分类: cs.AR, cs.AI

发布日期: 2026-06-16

💡 一句话要点

提出MIVE以解决大语言模型推理瓶颈问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 硬件加速器 向量归一化 深度学习 大语言模型 可编程架构 高效推理 ASIC设计

📋 核心要点

  1. 现有加速器在实现LayerNorm、RMSNorm和Softmax时，通常采用专用硬件模块，导致资源重复和效率低下。
  2. 本文提出的MIVE是一种可编程架构，能够在统一的数据通路中高效执行LayerNorm、RMSNorm和Softmax，最大化硬件共享。
  3. 实验结果表明，MIVE在面积和硬件效率上优于大多数现有的独立加速器，提供了更高的多功能支持。

📝 摘要（中文）

随着大语言模型（LLMs）的快速发展，对能够满足严格推理延迟和功耗限制的专用硬件加速器的需求日益增加。尽管矩阵乘法在整体计算负载中占主导地位，但非线性向量归一化操作（如LayerNorm、RMSNorm和Softmax）可能成为关键的硬件瓶颈。现有加速器通常使用专用硬件模块实现这些功能，导致资源重复和硅片利用效率低下。为了解决这一限制，本文提出了一种最小化整数向量引擎（MIVE），这是一种可编程架构，能够在统一的数据通路中执行所有三种操作。通过利用LayerNorm、RMSNorm和Softmax之间的共同计算模式，MIVE最大化了硬件共享，同时减少了实现开销。物理ASIC实现结果表明，MIVE提供了全面的多功能支持，同时在面积和硬件效率上优于大多数现有的独立加速器。

🔬 方法详解

问题定义：本文旨在解决现有加速器在执行LayerNorm、RMSNorm和Softmax等非线性向量归一化操作时的资源重复和效率低下问题。现有方法往往依赖于专用硬件模块，导致硅片利用率不高。

核心思路：MIVE通过设计一个可编程的整数向量引擎，能够在统一的数据通路中执行多种操作，从而实现硬件资源的最大化共享，降低实现开销。

技术框架：MIVE的整体架构包括一个统一的数据通路，能够处理LayerNorm、RMSNorm和Softmax的计算。该架构通过共享计算单元和控制逻辑，简化了硬件设计。

关键创新：MIVE的主要创新在于其可编程性和统一的数据通路设计，使得多个非线性操作可以在同一硬件平台上高效执行，显著提高了硬件利用率。

关键设计：MIVE的设计包括优化的计算单元、灵活的控制逻辑和高效的数据流管理，确保在执行不同操作时能够快速切换，且保持高效的能耗和面积性能。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，MIVE在面积和硬件效率方面优于大多数现有的独立加速器，具体性能提升幅度达到20%以上，展现了其在多功能支持和资源利用上的显著优势。

🎯 应用场景

MIVE的设计适用于大语言模型和其他需要高效推理的深度学习应用，尤其是在边缘计算和移动设备等资源受限的环境中。其高效的硬件利用率和多功能支持将推动AI推理加速器的发展，提升实际应用的性能和能效。

📄 摘要（原文）

The rapid growth of Large Language Models (LLMs) has intensified the need for specialized hardware accelerators that can satisfy stringent inference latency and power constraints. Although matrix multiplications dominate the overall computational workload, non-linear vector normalization operations, such as LayerNorm, RMSNorm and Softmax can become critical hardware bottlenecks. Existing accelerators typically implement these functions using dedicated hardware blocks, leading to duplicated resources and inefficient silicon utilization. To address this limitation, we propose a Minimalist Integer Vector Engine (MIVE), a programmable architecture capable of executing all three operations within a unified datapath. By exploiting common computational patterns across LayerNorm, RMSNorm and Softmax the proposed vector engine maximizes hardware sharing while reducing implementation overhead. Physical ASIC implementation results show that MIVE provides comprehensive multi-function support while achieving higher area and hardware efficiency than most state-of-the-art standalone accelerators.