Equilibrium Training of Energy-Based Models with Parallel Trajectory Tempering

📄 arXiv: 2607.27077v1 📥 PDF

作者: Nicolas Béreux, Aurélien Decelle, Cyril Furtlehner, Beatriz Seoane

分类: cs.LG

发布日期: 2026-07-29

备注: 11 pages, 7 figures

💡 一句话要点

提出平行轨迹温度调节算法以提升能量模型训练效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 能量模型 平行轨迹温度调节 马尔可夫链蒙特卡洛 深度生成模型 抗过拟合 科学数据生成

📋 核心要点

  1. 现有的能量模型训练方法在马尔可夫链蒙特卡洛采样中存在混合不良的问题，影响了模型的可靠性。
  2. 本文提出的平行轨迹温度调节算法通过优化路径的连续性来维持平衡采样，从而提高训练的稳定性和速度。
  3. 实验结果显示，PTT在限制玻尔兹曼机上优于现有训练方法，并在离散数据上超越了最先进的深度生成模型。

📝 摘要（中文）

能量模型（EBMs）为科学数据的生成建模提供了可解释的框架，但马尔可夫链蒙特卡洛（MCMC）混合不良常常限制其可靠性。本文提出了一种基于平行轨迹温度调节（PTT）的训练算法，利用优化路径的连续性在学习过程中维持平衡采样。这使得在高度多模态和数据稀缺的科学数据集上实现稳定且快速的训练。结合水库采样和自适应优化，PTT的计算成本与持久对比散度相当，成为标准训练方法的实用替代方案。实验结果表明，PTT在限制玻尔兹曼机上始终优于现有的EBM训练方法，并在离散表格数据上超越了最先进的深度生成模型，提供了更高质量的样本和更强的抗过拟合能力。我们的研究使得EBMs的平衡最大似然训练变得实用且计算高效。

🔬 方法详解

问题定义：本文旨在解决能量模型训练中马尔可夫链蒙特卡洛采样混合不良的问题，导致模型在多模态和数据稀缺情况下的可靠性不足。

核心思路：提出平行轨迹温度调节（PTT）算法，通过优化路径的连续性来维持平衡采样，确保训练过程的稳定性和高效性。

技术框架：PTT算法的整体架构包括平行轨迹的生成、温度调节机制以及自适应优化策略，结合水库采样以降低计算成本。

关键创新：PTT的主要创新在于其能够在训练过程中提供热化时间的直接估计和从训练模型中获取平衡样本的能力，这在现有方法中是缺乏的。

关键设计：在算法设计中，采用了自适应优化策略和水库采样技术，确保了计算效率与训练效果的平衡，同时损失函数的设计也考虑了多模态数据的特性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，PTT在限制玻尔兹曼机上的表现优于现有的EBM训练方法，且在离散表格数据上超越了最先进的深度生成模型，样本质量显著提升，抗过拟合能力增强，具体性能提升幅度未知。

🎯 应用场景

该研究的潜在应用领域包括科学数据生成、数据稀缺情况下的模型训练以及多模态数据处理等。通过提高能量模型的训练效率和样本质量，未来可在生物信息学、材料科学等领域发挥重要作用。

📄 摘要（原文）

Energy-Based Models (EBMs) provide an interpretable framework for generative modeling of scientific data, but poor Markov Chain Monte Carlo mixing often limits their reliability. We introduce a training algorithm based on Parallel Trajectory Tempering (PTT), which exploits the continuity of the optimization path to maintain equilibrium sampling throughout learning. This enables stable and fast training on highly multimodal and data-scarce scientific datasets. Combined with reservoir sampling and adaptive optimization, PTT has a computational cost comparable to Persistent Contrastive Divergence, making it a practical replacement for standard training methods. It also provides direct estimates of thermalization times, equilibrium samples from trained models, and accurate log-likelihoods at essentially no additional cost. Experiments on Restricted Boltzmann Machines show that PTT consistently outperforms existing EBM training approaches. On discrete tabular data, it also surpasses state-of-the-art deep generative models, yielding higher-quality samples and greater robustness to overfitting and limited data. Our results make equilibrium maximum-likelihood training of EBMs practical and computationally efficient.