Mitigating mode collapse in normalizing flows by annealing with an adaptive schedule: Application to parameter estimation

📄 arXiv: 2505.03652v1 📥 PDF

作者: Yihang Wang, Chris Chi, Aaron R. Dinner

分类: cs.LG, physics.comp-ph, physics.data-an, q-bio.QM, stat.ML

发布日期: 2025-05-06

备注: 19 pages, 10 figures

💡 一句话要点

通过自适应调度退火缓解归一化流中的模式崩溃问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 归一化流 模式崩溃 参数估计 有效样本量 自适应调度 生化模型 马尔可夫链蒙特卡洛

📋 核心要点

  1. 归一化流在处理多模态分布时，常常出现模式崩溃现象，限制了其在参数估计中的实际应用。
  2. 本研究提出了一种基于有效样本量的自适应调度退火方法，以缓解模式崩溃问题，提高样本质量。
  3. 实验结果表明，该方法在生化振荡器模型的拟合中，计算时间比传统MCMC方法减少了十倍，并有效降低了样本方差。

📝 摘要（中文）

归一化流（NFs）能够从复杂分布中提供不相关的样本，成为参数估计的有吸引力工具。然而，NFs在实际应用中常常出现模式崩溃的问题，限制了其效用。本研究表明，基于有效样本量（ESS）的自适应调度退火可以有效缓解模式崩溃。我们展示了该方法在拟合生化振荡器模型时，所需计算时间比广泛使用的集成马尔可夫链蒙特卡洛（MCMC）方法少十倍。此外，ESS还可以通过修剪样本来降低方差。我们期待这些进展能广泛应用于NFs的采样，并探讨进一步改进的潜在机会。

🔬 方法详解

问题定义：本论文旨在解决归一化流在多模态分布中出现的模式崩溃问题。现有方法在处理复杂分布时，常常无法有效采样，导致样本质量下降。

核心思路：论文提出了一种基于有效样本量（ESS）的自适应调度退火方法，通过动态调整采样过程中的温度参数，来缓解模式崩溃现象，从而提高样本的多样性和质量。

技术框架：整体方法包括两个主要阶段：首先，计算有效样本量以评估当前样本的质量；其次，基于ESS动态调整退火调度，以优化样本生成过程。

关键创新：最重要的创新在于结合了有效样本量的概念与自适应退火调度，形成了一种新的采样策略。这与传统的静态调度方法有本质区别，能够更灵活地应对样本质量的变化。

关键设计：在参数设置上，采用了动态调整的温度参数，并设计了特定的损失函数以优化样本的多样性。此外，网络结构上，结合了多层归一化流以增强模型的表达能力。

📊 实验亮点

实验结果显示，提出的方法在生化振荡器模型拟合中，计算时间比传统的集成MCMC方法减少了十倍，且样本方差显著降低。这表明该方法在实际应用中具有显著的性能优势。

🎯 应用场景

该研究的潜在应用领域包括生物信息学、金融建模和复杂系统分析等。通过提高归一化流的采样效率和质量，能够在更短的时间内获得更可靠的参数估计，推动相关领域的研究进展和实际应用。

📄 摘要（原文）

Normalizing flows (NFs) provide uncorrelated samples from complex distributions, making them an appealing tool for parameter estimation. However, the practical utility of NFs remains limited by their tendency to collapse to a single mode of a multimodal distribution. In this study, we show that annealing with an adaptive schedule based on the effective sample size (ESS) can mitigate mode collapse. We demonstrate that our approach can converge the marginal likelihood for a biochemical oscillator model fit to time-series data in ten-fold less computation time than a widely used ensemble Markov chain Monte Carlo (MCMC) method. We show that the ESS can also be used to reduce variance by pruning the samples. We expect these developments to be of general use for sampling with NFs and discuss potential opportunities for further improvements.