Scalable Physics-Inspired Transformers for Spin Glasses
作者: Lu Zhong, Wenli Duan, Jing Liu, Pan Zhang, Ying Tang
分类: cond-mat.dis-nn, cond-mat.stat-mech, cs.LG
发布日期: 2026-06-22
💡 一句话要点
提出物理启发的变压器以解决自旋玻璃的高效采样问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自旋玻璃 变压器 稀疏注意力 并行采样 统计力学 组合优化 机器学习
📋 核心要点
- 现有机器学习方法在处理大规模自旋玻璃系统时，未能有效利用模型规模的增加，且计算成本高。
- 本文提出了一种物理启发的变压器，结合稀疏注意力和自旋定制的位置信息嵌入，以提高采样效率。
- 通过使用FlashAttention进行并行采样，该方法在性能上实现了显著提升，能够处理更大规模的自旋玻璃系统。
📝 摘要（中文）
在挫折自旋玻璃中，高效采样玻尔兹曼分布是统计力学和组合优化的核心。尽管机器学习方法取得了一定进展，但仍存在两个问题：变分模型在规模扩大时未能获得预期收益，以及在大系统上的高计算成本使其相较于经典采样方法的优势减弱。为此，本文开发了一种物理启发的变压器，采用可解释的稀疏注意力机制和针对自旋的位置信息嵌入，解决了这些挑战。通过进一步利用FlashAttention进行并行祖先采样，该方法在单个GPU上实现了比传统变分自回归网络快两个数量级的速度提升，能够在不同温度下解析全概率分布、自由能和重叠统计，适用于Sherrington-Kirkpatrick和2D或3D Edwards-Anderson模型。该框架为挫折自旋玻璃系统建立了可扩展的范式。
🔬 方法详解
问题定义：本文旨在解决在挫折自旋玻璃中高效采样玻尔兹曼分布的问题。现有方法在面对大规模系统时，未能有效利用模型规模的增加，且计算成本过高，限制了其应用。
核心思路：论文提出了一种物理启发的变压器架构，采用可解释的稀疏注意力机制和针对自旋的位置信息嵌入，以提高模型的可扩展性和采样效率。这样的设计使得模型能够更好地捕捉自旋玻璃系统的特性。
技术框架：整体架构包括稀疏注意力模块、位置信息嵌入模块和FlashAttention并行采样模块。稀疏注意力模块使得模型在处理大规模数据时更为高效，而位置信息嵌入则针对自旋特性进行优化。
关键创新：最重要的技术创新在于引入了稀疏注意力机制和自旋定制的位置信息嵌入，这与现有的全连接注意力机制形成了本质区别，显著提高了模型的计算效率。
关键设计：在参数设置上，采用了适应性学习率和特定的损失函数，以优化模型的训练过程。网络结构上，结合了多层变压器架构和FlashAttention技术，以实现高效的并行处理。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的方法在单个GPU上实现了比传统变分自回归网络快两个数量级的速度提升，能够有效解析全概率分布、自由能和重叠统计，尤其在Sherrington-Kirkpatrick和2D或3D Edwards-Anderson模型中表现出色，克服了现有机器学习方法在特定温度下的局限性。
🎯 应用场景
该研究的潜在应用领域包括统计力学、组合优化以及量子计算等领域。通过提供高效的自旋玻璃系统模拟，该方法能够推动相关领域的研究进展，并为解决复杂优化问题提供新的思路和工具。
📄 摘要（原文）
Efficient sampling of the Boltzmann distribution in frustrated spin glasses is central to statistical mechanics and combinatorial optimization. Despite advances in machine-learning-based approaches, two issues persist: limited understanding of why variational models fail to benefit from increased scale, unlike the monotonic scaling law of large language models; and high computational cost on large systems that negates advantages over classical sampling methods. Here, we develop a physics-inspired transformer with interpretable sparse attention and spin-tailored positional embeddings to address these challenges. By further leveraging FlashAttention for parallel ancestral sampling, it achieves up to two orders of magnitude speedup over vanilla variational autoregressive networks, enabling neural-network simulations of spin-glass systems to unprecedented sizes on a single GPU. It can resolve full probability distributions, free energies, and overlap statistics across temperatures, for Sherrington-Kirkpatrick and 2D or 3D Edwards-Anderson models, where existing machine-learning methods encounter limitations at certain temperatures. This framework thus establishes a scalable paradigm for frustrated spin-glass systems.