LLMET: Enabling Cross-Layer Evaluation of Emerging M3D Memories for Energy-Efficient LLM Serving

📄 arXiv: 2607.26491v1 📥 PDF

作者: Ming-Yen Lee, Hanchen Yang, Faaiq Waqar, Harsono Simka, Tushar Krishna, Muhammed Ahosan Ul Karim, Shimeng Yu

分类: cs.AR, cs.AI, cs.ET, cs.LG

发布日期: 2026-07-29

备注: 6 pages

💡 一句话要点

提出LLMET框架以提升大语言模型的能效表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 能效优化 片上内存 三维集成 跨层仿真 能耗降低 新兴技术

📋 核心要点

  1. 现有大语言模型服务在能耗方面面临重大挑战，尤其是数据在片上和片外内存之间的移动造成的能量损耗。
  2. 本文提出LLMET框架，通过跨层仿真研究新兴的M3D内存技术对LLM服务能效的影响，旨在减少能量消耗。
  3. 实验结果表明，扩展L2缓存可显著降低能耗，例如在特定平台上，能耗降低幅度达到44%至30%。

📝 摘要（中文）

随着大语言模型（LLM）服务规模的扩大，能耗问题日益突出，主要受到硬件功耗、热限制和电力成本上升的影响。数据在有限的片上缓存和外部高带宽内存（HBM）之间的移动是芯片能量消耗的关键因素。新兴的单体三维（M3D）集成技术为片上内存的扩展提供了可能，然而，如何有效利用这些技术提升LLM服务的能效仍不明确。为此，本文提出了LLMET（与新兴技术结合的LLM），一个经过验证的跨层仿真框架，全面研究了大容量片上内存技术对不同模型、应用和平台的影响。通过LLMET仿真，扩展L2缓存可显著降低能耗，展示了超大片上内存在能效提升方面的潜力。

🔬 方法详解

问题定义：本文旨在解决大语言模型服务中的能耗问题，尤其是数据在片上缓存与外部内存之间的频繁移动导致的能量损耗。现有方法未能有效利用新兴内存技术来提升能效。

核心思路：提出LLMET框架，通过跨层仿真评估新兴的M3D内存技术对LLM服务的影响，探索如何通过扩展片上内存来降低能耗。

技术框架：LLMET框架包括多个模块，首先进行模型和应用的选择，然后通过仿真评估不同缓存大小对能耗的影响，最后分析结果并提出优化建议。

关键创新：最重要的创新在于结合新兴的M3D内存技术与LLM服务，通过跨层仿真方法验证了大容量片上内存的能效提升潜力，这在现有研究中尚属首次。

关键设计：在实验中，L2缓存的大小从40MB扩展到1GB，使用了双NVIDIA A100 GPU的设置，采用了16K的上下文窗口，确保了仿真结果的准确性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，利用M3D技术扩展L2缓存可在Llama3.1-70B预填充阶段实现44%的能耗降低，而在8x NVIDIA B200-like平台上，能耗降低幅度可达24%。在边缘平台上，缓存从8MB扩展至256MB时，解码能耗节省达到30%。

🎯 应用场景

该研究的潜在应用领域包括大语言模型的高效部署，尤其是在云计算和边缘计算环境中。通过优化内存使用，能够显著降低能耗，提升系统的经济性和可持续性，具有重要的实际价值和未来影响。

📄 摘要（原文）

The energy consumption of Large Language Model (LLM) serving is becoming a major system challenge as deployment scales, driven by hardware power and thermal constraints and rising electricity costs. A key contributor to chip energy dissipation is data movement between limited on-chip cache and off-chip High Bandwidth Memory (HBM). Meanwhile, emerging memory technologies such as monolithic 3D (M3D) integration of cache memories at the Back-End-Of-Line (BEOL) of logic chips enable larger and denser on-chip memories, creating new opportunities to reduce costly off-chip traffic. However, it remains unclear whether continuously scaling on-chip memory using emerging technologies can effectively improve the energy efficiency of LLM serving. To address this gap, we develop LLMET (LLM with Emerging Technology), a validated cross-layer simulation framework, and conduct a comprehensive study on the impact of large-capacity on-chip memory technologies across a broad range of models, applications and platforms. Utilizing M3D technology to expand the L2 cache from 40MB to 1GB yields a 44% reduction in chip energy during the Llama3.1-70B prefill phase with a 16K context window, based on LLMET simulation on a dual NVIDIA A100 GPU setup. On the 8x NVIDIA B200-like platform, extending the L2 cache from 128MB to 4GB saves the prefill energy by up to 24%. For the edge platform and workloads, the decode energy saving reaches 30% when increasing the 8MB cache size to 256MB. These results highlight the promise of ultra-large on-chip memories for energy-efficient LLM serving systems.