Sparse probes and murky physics: a case study of interpretability challenges in a foundation model for continuum dynamics
作者: Katherine Rosenfeld, Maike Sonnewald
分类: cs.LG, cs.AI
发布日期: 2026-06-10
备注: 8 pages, 5 figures
期刊: ICLR 2026 Workshop on Foundation Models for Science
💡 一句话要点
通过稀疏自编码器探讨基础模型在连续动力学中的可解释性挑战
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 生成模型 可解释性 稀疏自编码器 连续动力学 物理一致性 特征筛选 数值模拟
📋 核心要点
- 现有生成模型在科学领域的可解释性不足，尤其是在物理一致性方面存在挑战。
- 本文通过稀疏自编码器探测基础模型的特征，结合物理原则进行机械可解释性分析。
- 实验发现特征在不同剪切流设置中有间歇性的一致性，同时揭示了模拟器输出与数值模拟之间的系统性差异。
📝 摘要（中文）
生成式人工智能模拟器在已有强理论和物理直觉的科学领域中越来越多地被使用。这引发了一个核心的评估和可解释性问题：当基础模型能够重现已知的连续动力学时，其内部机制是什么，是否与已知物理一致，以及如何与模拟器的成功或失败相关联。本文研究了Polymathic的Walrus模型，采用基于物理原则的机械可解释性方法，应用稀疏自编码器探测选定层，并利用能量涡度作为物理基础指标，解决了特征集（超过20,000个）的筛选挑战。实验结果显示，特征在不同剪切流设置中有部分一致性，但这种结构是间歇性的，且与标准物理分解不完全对应。直接比较数值模拟与模拟器的输出，揭示了系统性差异，部分与特定特征的使用变化相关联。
🔬 方法详解
问题定义：本文旨在解决基础模型在连续动力学中的可解释性问题，现有方法在物理一致性和特征筛选方面存在不足。
核心思路：通过应用稀疏自编码器（SAE）探测模型的特定层，结合物理原则来指导特征的选择和分析，以提高模型的可解释性。
技术框架：整体架构包括特征提取、特征筛选和模型输出比较三个主要模块。首先，通过SAE提取特征，然后利用能量涡度作为物理基础指标进行特征筛选，最后比较模型输出与数值模拟的结果。
关键创新：最重要的技术创新在于将物理原则与机械可解释性结合，提出了一种新的特征筛选方法，能够有效识别与物理现象相关的特征。
关键设计：在特征筛选过程中，设置了特定的参数以优化SAE的性能，并采用了物理基础的损失函数来指导模型训练，确保所选特征与物理现象的相关性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在不同剪切流设置中，特征的部分一致性得到了验证，尽管这种一致性是间歇性的。此外，模型输出与数值模拟之间存在系统性差异，揭示了特定特征使用变化对结果的影响，为后续研究提供了重要线索。
🎯 应用场景
该研究的潜在应用领域包括物理模拟、工程设计和气候模型等，能够帮助科学家更好地理解复杂系统的行为，并提高模型的可解释性和可靠性。未来，研究成果可能推动基础模型在科学研究中的广泛应用，促进跨学科的合作与创新。
📄 摘要（原文）
Generative AI emulators are increasingly used in scientific domains where we already have strong theory, benchmarks, and physical intuition. This raises a central evaluation and interpretability question: when a foundation-style model can reproduce known continuum dynamics, what internal mechanism supports that behavior, is the internal behaviour consistent with known physics, and how does it relate to where the emulator succeeds or fails? We investigate a cross-domain foundation model for continuum dynamics, Walrus by Polymathic, using mechanistic interpretability guided by physical principles. We apply a sparse autoencoder (SAE) to probe a selected layer, and address the practical challenge of triaging a large feature set (over 20,000) using enstrophy as a physically grounded metric. As a deliberately simple testbed, we focus on shear flow and compare feature recruitment across multiple shear-flow setups, i.e. parameter values in the numerical simulation. Across setups we find evidence of piecewise consistency, with subsets of features recurring in similar roles, but this structure is intermittent and does not map cleanly onto standard physical decompositions. In parallel, direct comparisons between numerical simulation and the emulator reveal systematic output-level discrepancies, including regimes where energy/structures become too diffuse or too localized. We connect parts of these discrepancies to changes in specific SAE feature usage. Our work highlights open questions for scientific foundation models: how to robustly prioritize mechanistically meaningful features, how to separate stable structure from analysis artifacts (including single-layer and SAE limitations), and how to use established benchmarks to decide when "different" internal representations are genuinely informative rather than merely effective.