Dense Hopfield Networks in the Teacher-Student Setting

📄 arXiv: 2401.04191v2 📥 PDF

作者: Robin Thériault, Daniele Tantari

分类: cond-mat.dis-nn, cs.LG, math-ph

发布日期: 2024-01-08 (更新: 2024-08-12)

备注: 34 pages, 9 figures, updated to match published version, implemented minor changes proposed in referee reports

期刊: SciPost Phys. 17 (2024) 040

DOI: 10.21468/SciPostPhys.17.2.040

💡 一句话要点

提出密集霍普菲尔德网络以解决无监督学习中的模式检索问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 霍普菲尔德网络 无监督学习 对抗鲁棒性 模式检索 教师-学生设置 相图分析 特征学习

📋 核心要点

  1. 现有的霍普菲尔德网络研究主要集中在存储容量上，缺乏对其在无监督学习中性能的深入分析。
  2. 本文提出通过教师-学生设置研究p体霍普菲尔德网络的相图，揭示其在特征学习和对抗鲁棒性方面的表现。
  3. 研究结果表明，训练集的临界大小和推理温度对模式检索性能有显著影响，且学生网络对噪声的容忍度更高。

📝 摘要（中文）

密集霍普菲尔德网络以其原型转变和对抗鲁棒性而闻名。然而，之前的理论研究主要集中在其存储容量上。本文通过研究p体霍普菲尔德网络在无监督学习的教师-学生设置中的相图，揭示了类似于原型和特征学习的铁磁相。在Nishimori线，我们发现了有效模式检索所需的训练集的临界大小。值得注意的是，教师-学生设置的顺磁到铁磁转变与直接模型的顺磁到自旋玻璃转变相吻合。我们还探讨了推理温度和数据集噪声对学习性能的影响，并证明学生的p值大于教师时，学生对噪声具有较强的容忍度。最后，我们推导出在零温度下测量此类学生对抗鲁棒性的封闭形式表达式，证实了参数数量与鲁棒性之间的正相关性。

🔬 方法详解

问题定义：本文旨在解决密集霍普菲尔德网络在无监督学习中的模式检索能力不足的问题，现有研究多集中于存储容量，缺乏对实际学习性能的探讨。

核心思路：通过教师-学生设置，研究p体霍普菲尔德网络的相图，揭示其在特征学习和对抗鲁棒性方面的表现，特别是铁磁相和顺磁相的转变。

技术框架：研究包括相图分析、临界大小计算和学习性能评估等模块，重点在于不同p值对学生网络的影响，以及推理温度和数据集噪声的关系。

关键创新：提出了在教师-学生设置下的相图分析，揭示了铁磁相与顺磁相的转变，并推导出对抗鲁棒性的封闭形式表达式，这是与现有方法的本质区别。

关键设计：关键参数包括训练集的大小、推理温度和网络结构的p值设置，损失函数设计考虑了对抗鲁棒性与学习性能的平衡。通过这些设计，提升了模型在噪声环境下的表现。

📊 实验亮点

实验结果显示，在Nishimori线附近，训练集的临界大小显著影响模式检索性能。此外，学生网络在噪声环境下的容忍度较高，验证了参数数量与鲁棒性之间的正相关性，展示了模型在对抗攻击下的优越性能。

🎯 应用场景

该研究的潜在应用领域包括图像识别、自然语言处理和其他需要鲁棒性的机器学习任务。通过提高模型在噪声环境下的容忍度，能够在实际应用中提升系统的稳定性和可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Dense Hopfield networks are known for their feature to prototype transition and adversarial robustness. However, previous theoretical studies have been mostly concerned with their storage capacity. We bridge this gap by studying the phase diagram of p-body Hopfield networks in the teacher-student setting of an unsupervised learning problem, uncovering ferromagnetic phases reminiscent of the prototype and feature learning regimes. On the Nishimori line, we find the critical size of the training set necessary for efficient pattern retrieval. Interestingly, we find that that the paramagnetic to ferromagnetic transition of the teacher-student setting coincides with the paramagnetic to spin-glass transition of the direct model, i.e. with random patterns. Outside of the Nishimori line, we investigate the learning performance in relation to the inference temperature and dataset noise. Moreover, we show that using a larger p for the student than the teacher gives the student an extensive tolerance to noise. We then derive a closed-form expression measuring the adversarial robustness of such a student at zero temperature, corroborating the positive correlation between number of parameters and robustness observed in large neural networks. We also use our model to clarify why the prototype phase of modern Hopfield networks is adversarially robust.