Beyond the Hard Budget: Sparsity Regularizers for More Interpretable Top-k Sparse Autoencoders
作者: Nathanaël Jacquier, Maria Vakalopoulou, Mahdi S. Hosseini
分类: cs.LG, cs.AI
发布日期: 2026-06-25
💡 一句话要点
提出稀疏正则化方法以提升Top-k稀疏自编码器的可解释性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 稀疏自编码器 可解释性 深度学习 计算机视觉 正则化技术 模型优化 信息集中
📋 核心要点
- 现有的Top-k稀疏自编码器在处理输入复杂性时，固定的k值限制了其灵活性和表现。
- 本文提出的稀疏正则化器通过对激活进行额外的ℓ1和ℓ1/ℓ2比率惩罚，增强了Top-k SAE的稀疏性和可解释性。
- 在多个数据集和视觉基础模型上，实验结果显示引入正则化器后，单义性显著提升，且重建质量保持不变。
📝 摘要（中文）
稀疏自编码器（SAEs）已成为解释视觉基础模型表示的重要工具，通过将多义激活分解为更稀疏、单义特征。Top-k SAE作为一种标准变体，通过其激活函数在架构上强制稀疏性，仅保留每个输入的k个最活跃潜变量。尽管其设计旨在避免早期SAEs使用的ℓ1惩罚及其已知缺陷，但仍存在固定预算k和过拟合训练值k的倾向等局限。本文提出两种与Top-k架构兼容的稀疏正则化器，分别对未选择的单元施加ℓ1惩罚和集中信息的ℓ1/ℓ2比率惩罚。实验结果表明，这两种正则化器在不损失重建质量的情况下，显著提高了单义性。
🔬 方法详解
问题定义：本文旨在解决Top-k稀疏自编码器在输入复杂性变化时固定预算k的局限性，以及其对训练值k的过拟合问题。
核心思路：提出两种稀疏正则化器，分别对未选择的单元施加ℓ1惩罚和ℓ1/ℓ2比率惩罚，以增强Top-k SAE的稀疏性和信息集中度。
技术框架：整体架构包括输入数据的处理、激活函数的应用、Top-k选择和正则化器的引入，确保在每个批次中仅对活跃单元施加惩罚。
关键创新：最重要的创新在于将硬性架构稀疏性与软性稀疏正则化结合，形成互补关系，从而提升模型的可解释性和灵活性。
关键设计：在损失函数中引入ℓ1和ℓ1/ℓ2比率惩罚，确保仅对批次中被选择的活跃单元施加惩罚，从而优化稀疏性和重建质量。具体参数设置和网络结构细节在实验中进行了详细验证。
🖼️ 关键图片
📊 实验亮点
实验结果表明，应用提出的稀疏正则化器后，模型在多个数据集上单义性提升显著，且重建质量未受影响。特别是ℓ1/ℓ2比率惩罚使得信息更加集中，增强了对推理时k值选择的鲁棒性，提升了小预算线性探测的效果。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉、图像处理和深度学习模型的可解释性研究。通过提升稀疏自编码器的表现，可以更好地理解和解释复杂模型的内部机制，进而推动相关领域的发展。未来，该方法可能在医疗影像分析、自动驾驶等需要高可解释性的应用中发挥重要作用。
📄 摘要（原文）
Sparse autoencoders (SAEs) have become a leading tool for interpreting the representations of vision foundation models, decomposing their polysemantic activations into a larger set of sparse, more monosemantic features. The Top-$k$ SAE, a now-standard variant, enforces sparsity architecturally through its activation function, retaining only the $k$ most active latents per input. Because it was designed precisely to avoid the $\ell_1$ penalty used by earlier SAEs and its known drawbacks, it has not been combined with an explicit sparsity regularizer, despite retaining limitations of its own, such as a budget $k$ that is fixed regardless of input complexity and a tendency to overfit to the training value of $k$. We introduce two sparsity regularizers compatible with the Top-$k$ architecture, both acting on the activations before the Top-$k$ selection: an $\ell_1$ penalty on the unselected (off-support) units, and a scale-invariant $\ell_1/\ell_2$-ratio penalty that concentrates the code onto fewer effective units. Both penalties are applied only to the batch-active units, those selected by the Top-$k$ operator at least once within the batch. Across two datasets, three vision foundation models, and a range of $k$, both regularizers consistently improve monosemanticity at no cost to reconstruction quality. The $\ell_1/\ell_2$ penalty further concentrates information into fewer latents, making reconstruction more robust to the inference-time choice of $k$ and improving small-budget linear probing. Our central finding is that hard architectural sparsity and soft sparsity regularization are complementary rather than mutually exclusive.