Scalable Circuit Learning for Interpreting Large Language Models

📄 arXiv: 2606.16939v1 📥 PDF

作者: Naiyu Yin, Dennis Wei, Tian Gao, Amit Dhurandhar, Karthikeyan Natesan Ramamurthy, Yue Yu

分类: cs.LG, cs.AI

发布日期: 2026-06-15

备注: Accepted to the Mechanistic Interpretability Workshop at ICML 2026

💡 一句话要点

提出CircuitLasso以解决大语言模型的可解释性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 可解释性 稀疏线性回归 大型语言模型 电路学习 特征分析

📋 核心要点

  1. 现有的基于干预的电路学习方法在处理高维稀疏自编码器特征时计算成本过高，限制了其应用。
  2. 论文提出CircuitLasso，通过稀疏线性回归实现可扩展的电路学习，降低计算复杂度，同时保持结构准确性。
  3. 实验结果表明，CircuitLasso在领域泛化任务上实现了与最先进方法相当的性能，但计算成本显著降低。

📝 摘要（中文）

在机制可解释性研究中，学习稀疏电路以揭示大型语言模型（LLM）组件如何共同产生模型行为是一个重要方向。然而，原始神经元的多义性使得学习到的电路难以解释。稀疏自编码器（SAE）特征缓解了这一问题，但其高维度使得现有的基于干预的电路学习方法在计算上不可行。本文提出CircuitLasso，一种基于稀疏线性回归的可扩展电路学习方法。CircuitLasso恢复的电路在结构准确性上与最先进的干预方法相匹配，但计算成本大幅降低。为了提高可解释性，CircuitLasso有效揭示了SAE特征之间的关系，展示了人类可解释的语义特征如何在模型中传播并影响其预测。最后，我们通过利用学习到的电路的洞察力，在领域泛化任务上实现了可比的性能，同时显著降低了成本。

🔬 方法详解

问题定义：本文旨在解决现有基于干预的电路学习方法在处理高维稀疏自编码器特征时的计算成本过高的问题。现有方法难以有效解释模型行为，且计算效率低下。

核心思路：论文提出CircuitLasso，利用稀疏线性回归来学习电路，从而在保持结构准确性的同时显著降低计算复杂度。通过这种方式，能够更高效地揭示特征之间的关系。

技术框架：CircuitLasso的整体架构包括数据预处理、稀疏线性回归模型训练和电路结构恢复三个主要模块。首先，对输入特征进行处理，然后通过稀疏线性回归学习电路，最后恢复电路结构并进行可解释性分析。

关键创新：CircuitLasso的主要创新在于其使用稀疏线性回归替代传统的干预方法，从而在计算效率和结构准确性之间取得平衡。这一方法在处理高维特征时表现出色，显著降低了计算成本。

关键设计：在设计中，CircuitLasso采用了特定的损失函数以优化稀疏性，并通过调整超参数来控制模型的复杂度。此外，网络结构设计上注重特征的可解释性，确保学习到的电路能够有效反映模型的行为。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CircuitLasso在结构准确性上与最先进的干预方法相当，但计算成本降低了显著的比例。在领域泛化任务中，CircuitLasso实现了与基线方法相似的性能，且计算效率提高了数倍，展现了其优越性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等。通过提高大型语言模型的可解释性，研究人员和开发者可以更好地理解模型的决策过程，从而在实际应用中增强信任度和可控性。未来，这种方法可能会推动更广泛的可解释AI研究和应用。

📄 摘要（原文）

A prominent research direction in mechanistic interpretability is learning sparse circuits over LLM components to reveal how they jointly produce model behavior. However, raw neurons are polysemantic, making learned circuits hard to interpret. Sparse autoencoder (SAE) features alleviate this, but their high dimensionality makes existing intervention-based circuit learning methods computationally prohibitive. We propose CircuitLasso, a scalable circuit-learning approach based on sparse linear regression. CircuitLasso recovers circuits whose structural accuracy matches that of state-of-the-art intervention-based methods on the benchmark data, at a fraction of the computational cost. For interpretability, CircuitLasso efficiently uncovers relationships among SAE features, showing how human-interpretable semantic features propagate through the model and influence its predictions. Finally, we validate the utility of our learned circuits by leveraging their insights to achieve comparable performance at substantially lower cost on a domain-generalization task.