Neuron-Level Knowledge Attribution in Large Language Models

📄 arXiv: 2312.12141v4 📥 PDF

作者: Zeping Yu, Sophia Ananiadou

分类: cs.CL, cs.LG

发布日期: 2023-12-19 (更新: 2024-09-24)

备注: Accepted by EMNLP 2024 main. This paper aims to identify the important neurons in large language models

🔗 代码/项目: GITHUB

💡 一句话要点

提出静态方法以识别大语言模型中的重要神经元

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 神经元归因 知识存储 可解释性 静态方法 查询神经元 价值神经元

📋 核心要点

  1. 现有的归因技术在神经元级别的操作受到计算限制，难以有效识别重要神经元。
  2. 本文提出了一种静态方法，能够精准定位对最终预测有重要影响的神经元，并识别激活这些神经元的查询神经元。
  3. 与七种其他方法相比，本文的方法在多个指标上表现优越，展示了显著的性能提升。

📝 摘要（中文）

识别对最终预测重要的神经元对于理解大语言模型的机制至关重要。由于计算限制，现有的归因技术难以在神经元级别上操作。本文提出了一种静态方法来精准定位重要神经元。与七种其他方法相比，我们的方法在三个指标上表现出色。此外，传统静态方法通常仅识别直接贡献于最终预测的“价值神经元”，我们还提出了一种识别激活这些“价值神经元”的“查询神经元”的方法。最后，我们将这些方法应用于分析注意力层和前馈网络层中的六种知识。这些方法和分析有助于理解知识存储机制，并为未来的知识编辑研究奠定基础。

🔬 方法详解

问题定义：本文旨在解决现有归因技术在神经元级别上识别重要神经元的困难，尤其是在计算资源有限的情况下，现有方法无法有效定位重要神经元。

核心思路：我们提出了一种静态方法，通过分析神经元的激活情况来识别重要神经元，并进一步提出了查询神经元的概念，以便更全面地理解神经元之间的关系。

技术框架：该方法包括两个主要模块：首先是对神经元激活的静态分析，其次是通过查询神经元的激活来识别价值神经元。整个流程从数据预处理开始，经过神经元激活分析，最终输出重要神经元的识别结果。

关键创新：本文的主要创新在于同时识别价值神经元和查询神经元，这一方法超越了传统静态方法的局限，能够更全面地揭示神经元的功能。

关键设计：在方法设计中，我们设置了特定的激活阈值和归因指标，以确保识别结果的准确性。此外，采用了多种性能评估指标，以便与现有方法进行全面对比。

📊 实验亮点

实验结果表明，本文提出的方法在三个评估指标上均优于七种其他归因方法，具体提升幅度未知。这一成果为理解大语言模型的内部机制提供了新的视角，并为后续研究奠定了基础。

🎯 应用场景

该研究的潜在应用领域包括大语言模型的可解释性研究、知识存储机制的分析以及未来的知识编辑技术。通过识别重要神经元，研究人员可以更好地理解模型的决策过程，从而在实际应用中提高模型的透明度和可靠性。

📄 摘要（原文）

Identifying important neurons for final predictions is essential for understanding the mechanisms of large language models. Due to computational constraints, current attribution techniques struggle to operate at neuron level. In this paper, we propose a static method for pinpointing significant neurons. Compared to seven other methods, our approach demonstrates superior performance across three metrics. Additionally, since most static methods typically only identify "value neurons" directly contributing to the final prediction, we propose a method for identifying "query neurons" which activate these "value neurons". Finally, we apply our methods to analyze six types of knowledge across both attention and feed-forward network (FFN) layers. Our method and analysis are helpful for understanding the mechanisms of knowledge storage and set the stage for future research in knowledge editing. The code is available on https://github.com/zepingyu0512/neuron-attribution.