MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases

📄 arXiv: 2402.14905v2 📥 PDF

作者: Zechun Liu, Changsheng Zhao, Forrest Iandola, Chen Lai, Yuandong Tian, Igor Fedorov, Yunyang Xiong, Ernie Chang, Yangyang Shi, Raghuraman Krishnamoorthi, Liangzhen Lai, Vikas Chandra

分类: cs.LG, cs.AI, cs.CL

发布日期: 2024-02-22 (更新: 2024-06-27)

备注: ICML 2024. Code is available at https://github.com/facebookresearch/MobileLLM

💡 一句话要点

提出MobileLLM以优化移动设备上的小型语言模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 小型语言模型 移动设备 模型优化 深度学习 嵌入共享 分组查询注意力 权重共享

📋 核心要点

  1. 现有的大型语言模型在移动设备上的应用受到云成本和延迟问题的限制，亟需高效的小型模型。
  2. 本文提出MobileLLM，通过深而薄的网络架构和嵌入共享等技术，优化了小于十亿参数的语言模型。
  3. 实验结果表明，MobileLLM在多个基准测试中显著提升了准确率，展示了其在移动设备上的应用潜力。

📝 摘要（中文）

本文针对移动设备上高效大型语言模型（LLMs）的需求，设计了参数少于十亿的高质量LLMs，适合移动部署。研究表明，模型架构在小规模LLMs中比数据和参数数量更为重要。通过深而薄的架构、嵌入共享和分组查询注意力机制，构建了MobileLLM基线网络，相较于前沿的125M/350M模型，准确率分别提升了2.7%和4.3%。此外，提出的块级权重共享方法在不增加模型大小的情况下，进一步提升了MobileLLM-LS的准确率0.7%和0.8%。MobileLLM系列模型在聊天基准测试中表现显著优于以往的小规模模型，并在API调用任务中接近LLaMA-v2 7B的正确性，展示了小型模型在常见移动应用中的潜力。

🔬 方法详解

问题定义：本文旨在解决现有大型语言模型在移动设备上应用的效率问题，尤其是云计算成本和延迟带来的挑战。现有方法往往依赖于大量数据和参数，导致模型庞大且不适合移动端使用。

核心思路：论文的核心思路是通过优化模型架构，特别是采用深而薄的设计，来提升小规模LLMs的性能。研究表明，模型架构在小于十亿参数的模型中比数据和参数数量更为重要。

技术框架：MobileLLM的整体架构包括深而薄的网络设计、嵌入共享和分组查询注意力机制。通过这些模块的结合，模型能够在保持较小参数量的同时，提升性能。

关键创新：最重要的技术创新在于提出了块级权重共享方法，该方法在不增加模型大小的情况下，进一步提升了模型的准确率。这一创新与现有方法的本质区别在于其高效性和适应性。

关键设计：在参数设置上，MobileLLM采用了深而薄的网络结构，结合了嵌入共享和分组查询注意力机制，确保了模型在小规模下的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MobileLLM在125M和350M模型上分别提升了2.7%和4.3%的准确率。此外，MobileLLM-LS在不增加模型大小的情况下，进一步提升了0.7%和0.8%的准确率，展示了其在小型语言模型中的卓越性能。

🎯 应用场景

该研究的潜在应用领域包括移动设备上的自然语言处理任务，如语音助手、智能聊天机器人和文本生成等。MobileLLM的设计使得在资源有限的环境中，仍能实现高效的语言理解和生成，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

This paper addresses the growing need for efficient large language models (LLMs) on mobile devices, driven by increasing cloud costs and latency concerns. We focus on designing top-quality LLMs with fewer than a billion parameters, a practical choice for mobile deployment. Contrary to prevailing belief emphasizing the pivotal role of data and parameter quantity in determining model quality, our investigation underscores the significance of model architecture for sub-billion scale LLMs. Leveraging deep and thin architectures, coupled with embedding sharing and grouped-query attention mechanisms, we establish a strong baseline network denoted as MobileLLM, which attains a remarkable 2.7%/4.3% accuracy boost over preceding 125M/350M state-of-the-art models. Additionally, we propose an immediate block-wise weight-sharing approach with no increase in model size and only marginal latency overhead. The resultant models, denoted as MobileLLM-LS, demonstrate a further accuracy enhancement of 0.7%/0.8% than MobileLLM 125M/350M. Moreover, MobileLLM model family shows significant improvements compared to previous sub-billion models on chat benchmarks, and demonstrates close correctness to LLaMA-v2 7B in API calling tasks, highlighting the capability of small models for common on-device use cases.