NeuroPrune: A Neuro-inspired Topological Sparse Training Algorithm for Large Language Models

📄 arXiv: 2404.01306v3 📥 PDF

作者: Amit Dhurandhar, Tejaswini Pedapati, Ronny Luss, Soham Dan, Aurelie Lozano, Payel Das, Georgios Kollias

分类: cs.LG, cs.CL

发布日期: 2024-02-28 (更新: 2024-06-05)

备注: Accepted at ACL 2024

💡 一句话要点

提出NeuroPrune以解决大型语言模型训练效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 稀疏训练 神经网络 自然语言处理 Transformer 模型优化 推理效率 生物启发

📋 核心要点

  1. 现有的Transformer模型在训练和推理上成本高昂，限制了其应用范围。
  2. NeuroPrune算法通过模仿生物神经网络的稀疏性机制，优化模型的网络拓扑结构。
  3. 实验结果显示，NeuroPrune在多个NLP任务上性能优越，训练速度提高至10倍，推理时间也显著降低。

📝 摘要（中文）

基于Transformer的语言模型在自然语言处理领域表现出色，但其高昂的训练和推理成本限制了其广泛应用。本文提出了一种名为NeuroPrune的稀疏训练算法，借鉴生物神经网络的机制，通过网络拓扑的视角探索稀疏性。研究表明，NeuroPrune在多种NLP任务中表现优异，训练速度可提高至10倍，同时在推理时间上也有显著改善，尽管其主要目标并非优化性能。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在训练和推理过程中的高成本问题。现有方法在实现稀疏性时未能有效考虑网络拓扑的影响，导致效率低下。

核心思路：NeuroPrune算法借鉴生物神经网络的机制，如优先连接和冗余突触修剪，提出了一种模型无关的稀疏性方法，以提高训练和推理效率。

技术框架：该方法的整体架构包括稀疏性引入、网络拓扑优化和性能评估三个主要模块。首先，通过优先连接机制构建稀疏网络，然后进行冗余突触的修剪，最后在多种NLP任务上进行性能评估。

关键创新：NeuroPrune的主要创新在于将生物神经网络的稀疏性机制应用于深度学习模型，形成了一种新的网络拓扑优化思路，与传统的稀疏性方法相比，能够更有效地提升模型性能和效率。

关键设计：在设计中，NeuroPrune采用了特定的参数设置以控制稀疏性水平，并在损失函数中引入了稀疏性约束，以确保模型在保持性能的同时实现高效训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，NeuroPrune在多个NLP任务上表现出色，训练速度可提高至10倍，且在许多情况下推理时间也显著改善。与基线模型相比，NeuroPrune在性能上具有竞争力，甚至在某些任务上超越了基线。

🎯 应用场景

NeuroPrune算法在自然语言处理领域具有广泛的应用潜力，特别是在需要高效训练和快速推理的场景中，如机器翻译、文本摘要和自然语言推理等。其高效的训练机制和推理速度将推动大型语言模型在实际应用中的普及，降低企业和研究机构的成本。

📄 摘要（原文）

Transformer-based Language Models have become ubiquitous in Natural Language Processing (NLP) due to their impressive performance on various tasks. However, expensive training as well as inference remains a significant impediment to their widespread applicability. While enforcing sparsity at various levels of the model architecture has found promise in addressing scaling and efficiency issues, there remains a disconnect between how sparsity affects network topology. Inspired by brain neuronal networks, we explore sparsity approaches through the lens of network topology. Specifically, we exploit mechanisms seen in biological networks, such as preferential attachment and redundant synapse pruning, and show that principled, model-agnostic sparsity approaches are performant and efficient across diverse NLP tasks, spanning both classification (such as natural language inference) and generation (summarization, machine translation), despite our sole objective not being optimizing performance. NeuroPrune is competitive with (or sometimes superior to) baselines on performance and can be up to $10$x faster in terms of training time for a given level of sparsity, simultaneously exhibiting measurable improvements in inference time in many cases.