NeuronScope: A Multi-Agent Framework for Explaining Polysemantic Neurons in Language Models

📄 arXiv: 2601.03671v1 📥 PDF

作者: Weiqi Liu, Yongliang Miao, Haiyan Zhao, Yanguang Liu, Mengnan Du

分类: cs.CL, cs.LG

发布日期: 2026-01-07

💡 一句话要点

NeuronScope：一种用于解释语言模型中多义神经元的多智能体框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 神经元解释 多义性 大型语言模型 可解释性 多智能体系统

📋 核心要点

  1. 大型语言模型中神经元的多义性使得现有单次解释方法难以准确理解神经元的功能。
  2. NeuronScope通过多智能体框架，迭代地将神经元激活分解为语义成分并聚类，从而解释神经元。
  3. 实验表明，NeuronScope能够发现隐藏的多义性，并生成与神经元激活具有更高相关性的解释。

📝 摘要（中文）

大型语言模型(LLMs)中神经元层面的解释面临着普遍存在的多义性挑战，即单个神经元对多个不同的语义概念做出响应。现有的单次解释方法难以忠实地捕捉这种多概念行为。本文提出了NeuronScope，一个多智能体框架，它将神经元解释重新定义为一个迭代的、激活引导的过程。NeuronScope显式地将神经元激活分解为原子语义成分，将它们聚类成不同的语义模式，并使用神经元激活反馈迭代地细化每个解释。实验表明，与单次基线方法相比，NeuronScope揭示了隐藏的多义性，并产生了具有显著更高激活相关性的解释。

🔬 方法详解

问题定义：大型语言模型中的神经元通常具有多义性，即单个神经元可能对多个不同的语义概念产生响应。现有的神经元解释方法大多采用单次分析，无法有效捕捉和解释这种复杂的多义性，导致解释结果不准确，难以反映神经元的真实功能。

核心思路：NeuronScope的核心思路是将神经元解释问题转化为一个多智能体协作的过程。通过迭代地分解神经元激活，识别不同的语义成分，并将这些成分聚类成不同的语义模式，从而揭示神经元的多义性。利用神经元激活反馈，不断优化和细化每个语义模式的解释，提高解释的准确性和相关性。

技术框架：NeuronScope框架包含以下几个主要模块：1) 激活分解：将神经元的激活分解为原子语义成分。2) 语义聚类：将语义成分聚类成不同的语义模式，每个模式代表神经元的一个特定功能。3) 解释生成：为每个语义模式生成相应的解释。4) 迭代优化：利用神经元激活反馈，迭代地优化每个语义模式的解释，提高解释的准确性和相关性。整个流程是一个迭代的过程，直到解释收敛或达到预设的迭代次数。

关键创新：NeuronScope的关键创新在于其多智能体的迭代解释框架。与传统的单次解释方法不同，NeuronScope能够显式地处理神经元的多义性，通过迭代优化，逐步揭示神经元的复杂功能。这种方法更符合神经元实际的工作方式，能够产生更准确、更全面的解释。

关键设计：NeuronScope的具体实现细节包括：1) 使用激活值作为指导信号，引导语义成分的分解和聚类。2) 采用聚类算法（如K-means）将语义成分聚类成不同的语义模式。3) 使用自然语言生成模型（如GPT-3）为每个语义模式生成解释。4) 定义激活相关性作为评价指标，用于评估解释的质量和指导迭代优化过程。具体的损失函数和网络结构细节在论文中可能未详细描述，属于未知信息。

📊 实验亮点

实验结果表明，NeuronScope能够有效地揭示语言模型中神经元的多义性，并生成与神经元激活具有更高相关性的解释。与单次基线方法相比，NeuronScope在激活相关性指标上取得了显著提升，证明了其在神经元解释方面的优越性。具体的性能数据和提升幅度需要在论文中查找。

🎯 应用场景

NeuronScope可应用于提升大型语言模型的可解释性和透明度，帮助研究人员和开发者更好地理解模型的内部工作机制。通过理解神经元的功能，可以改进模型的训练方法，提高模型的性能和鲁棒性。此外，该方法还可以用于检测和修复模型中的偏差和漏洞，促进负责任的AI发展。

📄 摘要（原文）

Neuron-level interpretation in large language models (LLMs) is fundamentally challenged by widespread polysemanticity, where individual neurons respond to multiple distinct semantic concepts. Existing single-pass interpretation methods struggle to faithfully capture such multi-concept behavior. In this work, we propose NeuronScope, a multi-agent framework that reformulates neuron interpretation as an iterative, activation-guided process. NeuronScope explicitly deconstructs neuron activations into atomic semantic components, clusters them into distinct semantic modes, and iteratively refines each explanation using neuron activation feedback. Experiments demonstrate that NeuronScope uncovers hidden polysemanticity and produces explanations with significantly higher activation correlation compared to single-pass baselines.