Attention by Synchronization in Coupled Oscillator Networks
作者: Fabio Pasqualetti, Taosha Guo
分类: cs.LG, cs.NE, nlin.AO
发布日期: 2026-06-10
💡 一句话要点
提出基于耦合振荡器网络的注意力机制以解决能量受限问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 注意力机制 Kuramoto同步 振荡器网络 能量受限计算 机器学习 物理计算模型
📋 核心要点
- 现有的softmax注意力机制在能量消耗和计算效率上存在显著不足，尤其是在物理基底上实现时。
- 论文提出了一种基于Kuramoto同步动力学的固定查询振荡器注意力机制，避免了高能耗的指数运算。
- 实验结果显示，振荡器注意力在关键词检测和主谓一致性任务上优于softmax，且在因果语言建模中表现逐渐接近。
📝 摘要（中文）
本文探讨了在能量受限的物理基底上实现变换器注意力机制的问题。传统的softmax注意力需要进行指数运算和全局归约，这在冯·诺依曼硬件上能耗高且缺乏自然的物理对应。我们展示了Kuramoto同步动力学可以实现一种明确的注意力操作，称为固定查询振荡器注意力，替代了softmax的算术运算。该机制通过在球面上的梯度流平衡来实现查询的学习，振荡器在Kuramoto-Lohe动力学下演化，最终位置编码注意力权重。实验表明，在最小硬件配置下，振荡器注意力在关键词检测和主谓一致性任务上均优于softmax，且在因果语言建模中随着振荡器维度的增加，性能差距逐渐缩小。
🔬 方法详解
问题定义：本文旨在解决在能量受限的物理基底上实现高效注意力机制的问题。现有的softmax方法需要高能耗的指数运算和全局归约，难以在物理系统中有效实现。
核心思路：论文提出的固定查询振荡器注意力机制利用Kuramoto同步动力学，通过振荡器的平衡状态来实现注意力计算，避免了传统方法的高能耗特性。
技术框架：整体架构包括固定查询的学习和自由振荡器的演化，振荡器在Kuramoto-Lohe动力学下演化，最终通过余弦相似度编码注意力权重。
关键创新：最重要的创新在于将注意力机制与物理振荡器的同步行为相结合，提供了一种新的计算方式，避免了softmax的算术运算。
关键设计：在设计中，振荡器的维度和初始条件对最终的注意力权重有重要影响，且通过全局仿射归一化来实现输出的稳定性。实验中使用了最小的振荡器维度配置，验证了该方法的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在关键词检测任务中，振荡器注意力比softmax提高了1.00个百分点，而在主谓一致性任务中提高了5.27个百分点。尽管在因果语言建模中softmax仍有优势，但随着振荡器维度的增加，振荡器注意力的表现逐渐接近，显示出良好的扩展性。
🎯 应用场景
该研究的潜在应用领域包括低能耗计算、嵌入式系统和物理计算模型等。通过提供一种新的注意力机制，研究为在物理基底上实现高效的人工智能算法提供了理论基础，具有重要的实际价值和未来影响。
📄 摘要（原文）
We address transformer attention on energy-constrained physical substrates. Softmax attention requires exponentiation and global reduction, operations with high energy cost on von Neumann hardware and no natural physical analog. We show that Kuramoto synchronization dynamics (which arise in electrical, mechanical, superconducting, and charge-density-wave oscillator arrays, among other physical systems) implement a well-defined attention operation without either. The resulting mechanism, fixed-query oscillator attention, replaces softmax's arithmetic with the equilibration of a gradient flow on the sphere: queries are learned anchors fixed on the sphere, and free oscillators evolve under Kuramoto-Lohe dynamics until they settle at positions encoding attention weights via cosine similarity. Because the computation is equilibration, it requires no exponentiation; the only global operation is an affine normalization at readout. The fixed point is provably unique and globally attractive from almost every initial condition, a guarantee that holds across every physical realization. Empirically, at the minimal hardware configuration (oscillator dimension $d_{\mathrm{osc}}$ = 2), oscillator attention outperforms softmax on keyword spotting (+1.00 pp) and on subject-verb agreement (+5.27 pp on hard sentences, with zero training failures versus one in five for softmax). On causal language modeling, where softmax retains an advantage, oscillator attention closes the gap as $d_{\mathrm{osc}}$ grows: from +11.09 PPL at $d_{\mathrm{osc}}$ = 2 to +2.98 PPL at $d_{\mathrm{osc}}$ = 32 on WikiText-2, and from +2.39 PPL at $d_{\mathrm{osc}}$ = 2 to +0.57 PPL at $d_{\mathrm{osc}}$ = 32 on TinyStories. The main objective of this work is not to replace softmax in software but to provide a mathematically grounded blueprint for accurate attention on physical substrates.