Robust and Interpretable Adaptation of Equivariant Materials Foundation Models via Sparsity-promoting Fine-tuning

📄 arXiv: 2606.18691v1 📥 PDF

作者: Youngwoo Cho, Seunghoon Yi, Wooil Yang, Sungmo Kang, Young-woo Son, Jaegul Choo, Joonseok Lee, Soo Kyung Kim, Hongkee Yoon

分类: cs.LG, cond-mat.mtrl-sci

发布日期: 2026-06-17

备注: Accepted by ICLR 2026

💡 一句话要点

提出稀疏促进微调方法以解决材料基础模型适应性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 材料基础模型 稀疏微调 E(3)-等变 能量预测 力预测 物理可解释性 机器学习 领域适应

📋 核心要点

  1. 现有的材料基础模型在处理物理化学多样性时，常常需要进行领域特定的校准，导致适应性不足。
  2. 本文提出了一种稀疏促进微调方法，通过选择性更新模型参数，利用E(3)-等变模型的结构特性来提高适应性。
  3. 实验结果表明，该方法在能量和力预测任务中，仅更新约3%的参数即可匹配或超越全微调的效果，展示了良好的通用性。

📝 摘要（中文）

预训练的材料基础模型（机器学习原子间势）利用一般的物理化学知识有效近似势能面。然而，由于物理化学的多样性以及实际计算设置与预训练数据构建之间的差异，这些模型通常需要领域特定的校准。为此，本文提出了一种稀疏促进微调方法，通过利用E(3)-等变材料基础模型的结构特性，选择性地更新模型参数。在分子和晶体基准的能量和力预测任务中，该方法在仅更新约3%的参数的情况下，匹配或超越了全微调和等变低秩适应。在能量和力校准之外，我们进一步展示了任务的通用性，将该方法应用于磁矩预测和磁性总能量建模。最后，稀疏模式的分析揭示了物理上可解释的特征，如过渡金属系统中增强的d轨道贡献。总体而言，结果表明稀疏促进微调是一种灵活且可解释的领域专业化方法。

🔬 方法详解

问题定义：本文旨在解决预训练材料基础模型在面对物理化学多样性时的适应性不足问题。现有方法通常需要进行领域特定的校准，导致计算效率低下和模型性能不稳定。

核心思路：提出的稀疏促进微调方法通过选择性地更新模型参数，利用E(3)-等变材料基础模型的结构特性，从而实现高效的领域适应。该方法旨在减少需要更新的参数数量，同时保持模型的预测性能。

技术框架：整体架构包括预训练模型的基础上，首先进行稀疏性分析，然后选择性地微调部分参数，最后在不同任务上进行验证。主要模块包括参数选择、微调过程和性能评估。

关键创新：最重要的技术创新在于提出了一种稀疏促进的微调策略，使得模型在仅更新约3%参数的情况下，依然能够实现与全微调相当的性能。这种方法在物理上具有可解释性，能够揭示模型的内部机制。

关键设计：在参数设置上，采用了稀疏性约束的损失函数，确保更新的参数具有物理意义。此外，网络结构保持了E(3)-等变特性，以便在不同的物理化学环境中保持一致性。实验中还分析了稀疏模式，揭示了过渡金属系统中d轨道的增强贡献。

📊 实验亮点

实验结果显示，提出的稀疏促进微调方法在能量和力预测任务中，仅更新约3%的参数，便能匹配或超越全微调和等变低秩适应的效果。在某些情况下，更新的参数甚至低至0.5%。这一显著的性能提升展示了方法的有效性和灵活性。

🎯 应用场景

该研究的潜在应用领域包括材料科学、化学和物理等领域，尤其是在需要高效且准确的能量和力预测的场景中。通过提高模型的适应性和解释性，该方法有助于加速新材料的发现和优化，具有重要的实际价值和未来影响。

📄 摘要（原文）

Pre-trained materials foundation models, or machine learning interatomic potentials, leverage general physicochemical knowledge to effectively approximate potential energy surfaces. However, they often require domain-specific calibration due to physicochemical diversity as well as mismatches between practical computational settings and those used in constructing the pre-training data. To address this, we propose a sparsity-promoting fine-tuning method that selectively updates model parameters by exploiting the structural properties of E(3)-equivariant materials foundation models. On energy and force prediction tasks across molecular and crystalline benchmarks, our method matches or surpasses full fine-tuning and equivariant low-rank adaptation while updating only $\sim$3~\% of parameters, and in some cases as little as $\sim$0.5~\%. Beyond energy and force calibration, we further demonstrate task generalizability by applying our method to magnetic moment prediction and magnetism-aware total energy modeling. Finally, analysis of sparsity patterns reveals physically interpretable signatures, such as enhanced $d$-orbital contributions in transition metal systems. Overall, our results establish sparsity-promoting fine-tuning as a flexible and interpretable method for domain specialization of equivariant materials foundation models.