One More Time: Revisiting Neural Quantum States from a Reinforcement Learning Perspective

📄 arXiv: 2607.02292 📥 PDF

作者: Juan Agustín Duque, Sergio García Heredia, Vinicius Hernandes, Eliška Greplová, Thomas Spriggs, Aaron Courville, Anna Dawid

分类: cs.LG

发布日期: 2026-07-05

💡 一句话要点

提出PWO算法以优化神经量子态训练

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 神经量子态 量子计算 优化算法 信任区域 自回归模型 变分能量最小化 量子多体系统

📋 核心要点

  1. 现有的NQS优化方法如Adam忽视了函数空间几何，导致性能不佳，而随机重配置方法则在大模型中计算成本高且数值不稳定。
  2. 本文提出的PWO算法通过信任区域优化，将变分能量最小化视为优势策略梯度问题，从而提高了NQS训练的效率和稳定性。
  3. 实验结果表明，PWO在多个自旋系统中优于现有优化方法，且在大规模模型上实现了显著的优化效果。

📝 摘要（中文）

神经量子态（NQS）为近似量子多体波函数提供了灵活且可扩展的框架。尽管自回归模型在NQS参数化中具有吸引力，但其优化仍然相对欠缺探索。本文提出了Proximal Wavefunction Optimization（PWO），将变分能量最小化视为对Born分布的优势策略梯度问题，从而激励了NQS训练中的信任区域优化。PWO在Ising和挫折$J_1$-$J_2$一维和二维自旋系统中，相较于Adam等方法，显著提高了稳定性和收敛速度，并在$1.5$B参数的RWKV-7模型上进行了优化，展示了NQS优化的巨大潜力。

🔬 方法详解

问题定义：本文旨在解决神经量子态（NQS）优化中的稳定性和效率问题。现有方法如Adam在函数空间几何上存在不足，而随机重配置方法在大模型中计算成本高且不稳定。

核心思路：论文提出将变分能量最小化视为对Born分布的优势策略梯度问题，进而引入信任区域优化方法。这种设计旨在提高NQS训练的稳定性和收敛速度。

技术框架：PWO算法的整体架构包括概率比变化的剪切和相位通道的增量控制，避免了显式矩阵求逆，并在多个更新中重用样本。该框架结合了一阶优化的可扩展性与理论保证。

关键创新：PWO的主要创新在于其信任区域优化策略，通过限制概率比的变化，显著提高了训练的稳定性和收敛速度。这与传统方法的本质区别在于其对函数空间几何的考虑。

关键设计：PWO算法在参数设置上采用了剪切机制，确保概率比变化在合理范围内，同时在相位通道中控制增量。此外，算法设计中重用样本的策略也显著降低了计算成本。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PWO在Ising和挫折$J_1$-$J_2$自旋系统中，相较于Adam、minSR和SPRING等方法，显著提高了稳定性和收敛速度。此外，PWO在$1.5$B参数的RWKV-7模型上优化，展示了其在大规模模型上的有效性，提升幅度超过三倍。

🎯 应用场景

该研究在量子计算和量子模拟领域具有广泛的应用潜力。通过优化神经量子态的训练过程，PWO算法能够更有效地处理复杂的量子系统，为量子物理研究和量子计算机的开发提供新的工具和方法。

📄 摘要（原文）

Neural quantum states (NQS) provide a flexible and scalable framework for approximating quantum many-body wavefunctions. Among NQS parameterizations, autoregressive models are especially attractive because they enable exact, independent sampling from the Born distribution, avoiding the autocorrelation and mixing issues of Markov chain methods. Yet their optimization remains comparatively underexplored: Adam is a scalable method but ignores function space geometry, while stochastic reconfiguration is principled but costly and numerically fragile in large models. To address this gap, we show that variational energy minimization can be viewed as an advantage policy-gradient problem over the Born distribution, motivating trust-region optimization for NQS training. We introduce Proximal Wavefunction Optimization (PWO), a principled trust-region algorithm that clips probability-ratio changes in the amplitude channel and phase increments in the phase channel. PWO avoids explicit matrix inversion, reuses samples across multiple updates, and combines the scalability of first-order optimization with theoretical guarantees. Across Ising and frustrated $J_1$-$J_2$ one- and two-dimensional spin systems, PWO improves stability and wall-clock convergence over Adam, minSR, and SPRING. Finally, we fine-tune a $1.5$B-parameter RWKV-7 model, demonstrating NQS optimization at a scale over three orders of magnitude beyond prior work.