Energy- and Memory-Efficient PEFT Methods for Personalized On-Device SLMs on Consumer GPUs

📄 arXiv: 2608.04488v1 📥 PDF

作者: Kuanysh Akhmetzhanov, Jurn-Gyu Park

分类: cs.CL

发布日期: 2026-08-05

💡 一句话要点

提出能效与内存高效的PEFT方法以实现个性化设备部署

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 参数高效微调 小型语言模型 能效优化 内存管理 个性化部署 边缘计算 深度学习

📋 核心要点

  1. 现有大型语言模型在资源受限设备上的部署面临显存和能耗的挑战，限制了其实际应用。
  2. 本文提出了五种参数高效微调方法，比较它们在不同模型和任务上的表现，特别关注能耗和内存使用。
  3. 实验结果显示，LoRA+在19个配置中获得最高能效得分，QLoRA在内存方面表现突出，展示了小型模型与PEFT结合的潜力。

📝 摘要（中文）

尽管大型语言模型（LLMs）快速发展，但在资源受限设备上部署和个性化仍然不切实际，主要由于高显存、时间和能耗成本。参数高效微调（PEFT）小型语言模型（SLMs）提供了一个有前景的替代方案，但很少有研究在考虑能耗的情况下比较不同架构的PEFT方法。本文比较了五种微调方法（全微调、LoRA、LoRA+、QLoRA和BitFit），在四个SLMs和多个基准任务上进行评估，结果表明LoRA+在能效和内存方面表现优异，提供了个性化设备部署的实用路径。

🔬 方法详解

问题定义：本文旨在解决在资源受限设备上部署和个性化大型语言模型时的高显存和能耗问题。现有方法如全微调和BitFit在能效和内存使用上表现不佳，限制了其实际应用。

核心思路：论文提出了五种参数高效微调方法，通过比较它们在不同架构和任务上的表现，寻找最佳的能效和内存使用方案。特别是，LoRA+和QLoRA被认为是最优选择，分别针对能效和内存优化。

技术框架：研究中使用了四个小型语言模型（TinyLlama-1.1B、Qwen3-1.7B、Mamba-1.4B、Mamba-2-1.3B），在三个GLUE任务和三个LaMP个性化任务上进行评估。每种配置通过能量关注的NetScore-E和内存关注的NetScore-M进行评估。

关键创新：最重要的技术创新在于提出了以能效为优先的选择规则，LoRA+在19个配置中获得最高NetScore-E，显示出其在能效方面的优势。QLoRA则在内存方面表现突出，尽管其去量化开销限制了其选择频率。

关键设计：在实验中，LoRA+和QLoRA的参数设置经过精细调整，以最大化能效和内存使用效率。NetScore-E和NetScore-M的设计使得评估过程更加符合实际部署需求。具体的损失函数和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，LoRA+在24个配置中获得19次最高能效得分，QLoRA在内存方面表现优异，显示出小型语言模型与PEFT结合的有效性。TinyLlama-1.1B在五个基准任务中表现最佳，进一步验证了该方法的实用性。

🎯 应用场景

该研究的潜在应用领域包括智能手机、边缘计算设备和其他资源受限的嵌入式系统，能够实现个性化的语言处理任务。通过优化能效和内存使用，能够在这些设备上有效部署小型语言模型，提升用户体验和应用性能。

📄 摘要（原文）

Despite rapid advances in large language models (LLMs), deploying and personalizing them on resource-constrained devices remains impractical due to high VRAM, time, and energy costs. Parameter-Efficient Fine-Tuning (PEFT) of Small Language Models (SLMs) offers a promising alternative, yet few studies compare PEFT methods across architectures using both general and personalization benchmarks while accounting for energy consumption. We compare five fine-tuning approaches (Full Fine-Tuning, LoRA, LoRA+, QLoRA, and BitFit) on four SLMs from two families (Transformer-based: TinyLlama-1.1B, Qwen3-1.7B; SSM-based: Mamba-1.4B, Mamba-2-1.3B) across three GLUE tasks (SST-2, QNLI, STS-B) and three LaMP personalization tasks (LaMP-1, LaMP-2, LaMP-3). Each configuration is evaluated with the energy-focused NetScore-E and the memory-focused NetScore-M, the two variants that reflect the constraints binding on-device deployment. Methods are selected with a strict energy-first rule (highest NetScore-E, ties broken by NetScore#). LoRA+ achieves the highest NetScore-E in 19 of 24 configurations and the highest NetScore-M in 13 of 24, and is the selected method in 18 of 24. QLoRA, available only for the Transformer models, cuts peak finetuning VRAM by up to 3.9x relative to LoRA and therefore takes the best NetScore-M in 5 of the 12 Transformer configurations, although its de-quantization overhead leaves it selected in only one of them once energy decides. BitFit and full fine-tuning are almost never competitive on either variant, and TinyLlama-1.1B leads the energy-focused NetScore-E on five of the six benchmarks and the memory-focused NetScore-M on four. These results show that compact SLMs paired with PEFT provide a practical, energy-aware path to personalized on-device deployment, with the optimal method set by the dominant constraint: LoRA+ for energy and QLoRA for memory.