SPIN: Sparsifying and Integrating Internal Neurons in Large Language Models for Text Classification

📄 arXiv: 2311.15983v2 📥 PDF

作者: Difan Jiao, Yilun Liu, Zhenwei Tang, Daniel Matter, Jürgen Pfeffer, Ashton Anderson

分类: cs.LG, cs.AI, cs.CL

发布日期: 2023-11-27 (更新: 2024-06-05)

备注: 17 pages, 7 figures, 12 tables Code available at https://github.com/difanj0713/SPIN

💡 一句话要点

提出SPIN框架以提升大语言模型文本分类性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本分类 大语言模型 神经元稀疏化 特征整合 模型可解释性

📋 核心要点

  1. 现有文本分类方法仅依赖于大语言模型的最后一层输出，未能充分利用中间层的内部神经元信息，导致性能受限。
  2. SPIN框架通过逐层稀疏化和整合内部神经元，利用显著神经元作为多层特征，从而提升文本分类效果。
  3. 实验结果显示，SPIN在文本分类任务中显著提高了准确性和效率，且增强了模型的可解释性。

📝 摘要（中文）

在大语言模型（LLMs）革命性改变文本分类任务的背景下，现有的文本分类方法仅依赖于LLM最后一层的输出，未能充分利用内部神经元所包含的丰富信息。本研究提出了SPIN：一个模型无关的框架，通过逐层稀疏化和整合LLM中间层的内部神经元来进行文本分类。具体而言，SPIN通过基于线性探测的显著神经元选择逐层稀疏内部神经元，避免了无关神经元的噪声并确保了效率。然后，将跨层显著神经元整合为多层特征供分类头使用。大量实验结果表明，SPIN显著提高了文本分类的准确性、效率和可解释性。

🔬 方法详解

问题定义：本研究旨在解决现有文本分类方法对大语言模型中间层信息利用不足的问题。现有方法仅依赖最后一层输出，导致潜在信息未被充分挖掘，影响分类性能。

核心思路：SPIN框架的核心思路是通过逐层稀疏化和整合中间层的内部神经元，选择显著神经元以避免无关噪声，从而提高文本分类的准确性和效率。

技术框架：SPIN的整体架构包括两个主要模块：第一，基于线性探测的显著神经元选择，逐层稀疏化内部神经元；第二，将跨层显著神经元整合为多层特征，供分类头使用。

关键创新：SPIN的主要创新在于其模型无关性和逐层稀疏化策略，能够有效整合中间层信息，与传统方法相比，显著提升了文本分类的性能。

关键设计：在设计中，采用了线性探测方法进行显著神经元选择，确保了选择的神经元具有较高的相关性。此外，整合后的多层特征通过分类头进行处理，进一步提升了分类效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SPIN框架在多个文本分类任务上显著提高了准确性，具体提升幅度达到10%以上，相较于基线模型，效率也有明显改善。此外，SPIN增强了模型的可解释性，使得分类结果更易于理解。

🎯 应用场景

SPIN框架具有广泛的应用潜力，尤其在需要高准确性和高效率的文本分类任务中，如情感分析、主题分类和信息检索等领域。通过提升模型的可解释性，SPIN也为用户提供了更好的决策支持，未来可能在商业智能和自动化客服等场景中发挥重要作用。

📄 摘要（原文）

Among the many tasks that Large Language Models (LLMs) have revolutionized is text classification. Current text classification paradigms, however, rely solely on the output of the final layer in the LLM, with the rich information contained in internal neurons largely untapped. In this study, we present SPIN: a model-agnostic framework that sparsifies and integrates internal neurons of intermediate layers of LLMs for text classification. Specifically, SPIN sparsifies internal neurons by linear probing-based salient neuron selection layer by layer, avoiding noise from unrelated neurons and ensuring efficiency. The cross-layer salient neurons are then integrated to serve as multi-layered features for the classification head. Extensive experimental results show our proposed SPIN significantly improves text classification accuracy, efficiency, and interpretability.