Shared Semantics, Divergent Mechanisms: Unsupervised Feature Discovery by Aligning Semantics and Mechanisms
作者: Hyunjin Cho, Youngji Roh, Jaehyung Kim
分类: cs.CL, cs.LG
发布日期: 2026-07-05
💡 一句话要点
提出分布级无监督特征发现方法以审计语言模型机制
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 无监督学习 特征发现 语言模型 机制解释 聚类分析 语义嵌入 模型审计
📋 核心要点
- 现有的电路分析方法通常是目标条件化的，无法全面反映模型的继续分布异质性。
- 本文提出了一种新的无监督特征发现方法，利用语义嵌入和机制归因进行分布级聚类，避免了手动指定目标输出的需求。
- 实验结果显示，该方法能够发现单视图基线遗漏的继续模式，并提供了机制因素的可操作证据。
📝 摘要（中文）
随着大型语言模型在高风险环境中的广泛应用，审计模型输出及其内部计算的工具需求日益增加。电路分析是机械解释中的核心方法，但通常是目标条件化的，仅解释与特定提示配对的单一输出。这种设置可能掩盖模型继续分布中的异质性。本文提出了一种分布级无监督特征发现方法，通过对语义内容和序列级机制归因进行聚类，避免手动指定目标输出。该方法使用语义嵌入和前缀到继续的归因签名来表示每个继续，并优化语义一致性、机制一致性和聚类粒度之间的权衡目标。实验结果表明，发现的聚类揭示了单视图基线所遗漏的继续模式，并提供了干预证据，表明聚类签名对应于可操作的机制因素。总体而言，该方法为模型继续分布的机制提供了可扩展的审计，补充了电路分析和行为评估。
🔬 方法详解
问题定义：本文旨在解决现有电路分析方法的局限性，特别是目标条件化设置导致的模型继续分布异质性难以捕捉的问题。
核心思路：提出了一种分布级无监督特征发现方法，通过聚类语义内容和机制归因，能够在不依赖于手动指定目标输出的情况下，全面分析模型的继续分布。
技术框架：整体流程包括：首先对每个输出进行语义嵌入表示，接着计算前缀到继续的归因签名，最后通过优化一个权衡语义一致性、机制一致性和聚类粒度的目标函数进行聚类。
关键创新：最重要的创新在于引入了分布级的无监督特征发现，能够揭示传统单视图分析所遗漏的多样性，并提供了与机制因素的直接关联。
关键设计：在技术细节上，采用了特定的损失函数以平衡不同的目标，设计了适应性聚类算法以处理不同的聚类粒度，并使用了高效的语义嵌入技术以提升模型的表示能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的方法在聚类分析中能够发现传统单视图基线所遗漏的继续模式，且在机制因素的干预证据上表现出显著的相关性，提升了对模型行为的理解和解释能力。
🎯 应用场景
该研究的潜在应用领域包括大型语言模型的审计、解释性AI以及机器学习模型的透明性提升。通过提供对模型内部机制的深入理解，能够帮助开发更可靠和可解释的AI系统，尤其是在高风险应用场景中。
📄 摘要（原文）
As large language models are increasingly deployed in high-stakes settings, there is a growing need for tools that audit not only model outputs but also the internal computations that produce them. Circuit analysis is a central approach in mechanistic interpretability, but it is typically target-conditioned, explaining a single prompt paired with a chosen completion. This target-conditioned setup can obscure heterogeneity across a model's continuation distribution. We introduce distribution-level unsupervised feature discovery, which clusters sampled continuations using both semantic content and sequence-level mechanistic attributions, without manually specifying target outputs. Our method represents each continuation with a semantic embedding and a prefix-to-continuation attribution signature, then optimizes a rate-distortion objective that trades off semantic coherence, mechanistic consistency, and cluster granularity. Across clustering and steering analyses, the discovered clusters expose continuation modes that single-view baselines miss and provide interventional evidence that cluster signatures correspond to actionable mechanistic factors. Overall, our approach complements circuit analysis and behavioral evaluation by providing a scalable audit of the mechanisms underlying a model's continuation distribution.