What Survives Distillation? A Mechanistic Interpretability Study of GPT-2 and DistilGPT-2

📄 arXiv: 2610.37157v1 📥 PDF

作者: Nabeelah Faumi, Deshan Sumanathilaka

分类: cs.CL

发布日期: 2026-10-27

备注: 5 Figure, 9 Table

💡 一句话要点

研究蒸馏对GPT-2及DistilGPT-2机制影响的分析

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识蒸馏 语言模型 机制解释 模型压缩 性能评估

📋 核心要点

  1. 现有的知识蒸馏方法在压缩模型时，未能充分表征深度减少对模型机制的影响，导致对模型性能的理解不足。
  2. 本文通过多种分析方法，比较了GPT-2与其蒸馏版本DistilGPT-2在特定电路上的表现，揭示了机制崩溃与保留的现象。
  3. 实验结果显示，IOI电路在蒸馏后完全崩溃，而GT电路则通过重映射实现了显著的性能恢复，表明电路的可压缩性对机制存活至关重要。

📝 摘要（中文）

知识蒸馏将大型语言模型压缩为紧凑的学生模型，以保留整体指标，但深度减少蒸馏的机制后果尚未得到充分表征。本文通过线性CKA、logit透视分析、注意力模式分解、稀疏自编码器特征统计和激活补丁等方法，比较了GPT-2及其六层学生模型DistilGPT-2在间接宾语识别（IOI）电路和大于（GT）电路上的表现。结果显示，IOI电路完全机制崩溃（DistilGPT-2准确率为35.2% vs. 94.8%，无名称移动者保留），而GT电路通过将教师的第9层比较头主动重映射到学生的第4层，实现了87.7%的任务性能恢复（平均Pearson相关系数r=0.945）。这些发现表明电路的可压缩性决定了蒸馏下的机制存活性，而整体指标不足以诊断电路完整性。

🔬 方法详解

问题定义：本文旨在探讨知识蒸馏过程中，深度减少对语言模型机制的影响，尤其是如何影响模型在特定任务上的表现。现有方法未能充分揭示这种机制崩溃的现象。

核心思路：通过对比分析GPT-2与DistilGPT-2在间接宾语识别和大于电路上的表现，论文提出了电路可压缩性与机制存活之间的关系，强调了整体性能指标不足以反映电路完整性。

技术框架：研究采用线性CKA、logit透视分析、注意力模式分解等多种技术手段，系统比较了两种模型在特定电路上的表现，分析了激活模式和特征统计。

关键创新：最重要的创新在于揭示了蒸馏过程中不同电路的机制崩溃与保留现象，尤其是IOI电路的完全崩溃与GT电路的部分恢复，提供了新的视角理解模型压缩的机制。

关键设计：在实验中，采用了多种分析工具来评估模型的表现，包括激活补丁和稀疏自编码器特征统计，确保了对模型机制的深入理解。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DistilGPT-2在间接宾语识别电路上准确率仅为35.2%，而GPT-2为94.8%，表现出完全的机制崩溃；而在大于电路上，DistilGPT-2通过重映射实现了87.7%的任务性能恢复，表明电路的可压缩性对机制存活至关重要。

🎯 应用场景

该研究对语言模型的压缩和优化具有重要的应用价值，尤其是在资源受限的环境中，能够帮助开发更高效的模型。此外，理解模型机制的存活性对于未来的模型设计和改进具有指导意义，可能推动更智能的AI系统的开发。

📄 摘要（原文）

Knowledge distillation compresses large language models into compact students that preserve aggregate metrics, yet the mechanistic consequences of depth-reduction distillation remain largely uncharacterized. This work applies linear CKA, logit lens analysis, attention pattern decomposition, sparse autoencoder feature statistics, and activation patching to compare GPT-2 and its six-layer student DistilGPT-2 across two canonical circuits: the Indirect Object Identification (IOI) circuit and the Greater-Than (GT) circuit. The results reveal a compression-collapse dichotomy: the IOI circuit suffers complete mechanistic collapse (DistilGPT-2: 35.2% accuracy vs. 94.8%, zero name-mover preservation), while the GT circuit survives with 87.7% task performance recovery through active remapping of the teacher's layer-9 comparison head into student layer~4 (mean Pearson r = 0.945). These findings demonstrate that circuit compressibility governs mechanistic survival under distillation, and that aggregate metrics are insufficient diagnostics for circuit integrity.