Diffusion posterior sampling for simulation-based inference in tall data settings

📄 arXiv: 2404.07593v3 📥 PDF

作者: Julia Linhart, Gabriel Victorino Cardoso, Alexandre Gramfort, Sylvain Le Corff, Pedro L. C. Rodrigues

分类: stat.ML, cs.LG, stat.ME

发布日期: 2024-04-11 (更新: 2026-02-11)

备注: 49 pages, 24 figures, 3 tables, 2 algorithms, 12 appendices, TMLR acceptance

💡 一句话要点

提出新算法以加速长数据设置下的后验采样

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 后验采样 长数据设置 模拟推断 深度生成模型 计算神经科学 参数估计 扩散过程

📋 核心要点

  1. 现有方法在长数据设置下依赖于成本高昂的Langevin动态，导致推断效率低下。
  2. 论文提出了一种新算法，通过显式近似长数据后验的扩散过程，避免了Langevin步骤。
  3. 实验结果表明，该方法在玩具问题和标准SBI基准上表现优越，且在复杂的计算神经科学模型中具有良好的可扩展性。

📝 摘要（中文）

识别最佳解释观测数据的非线性模型参数是科学研究中的核心任务。当模型依赖复杂的模拟器时，评估似然性通常是不可行的，传统的推断方法如MCMC无法应用。基于模拟的推断(SBI)通过训练深度生成模型来近似参数的后验分布。本文考虑长数据设置，利用多个独立观测提供额外信息，从而实现更精确的后验分布和参数可识别性。我们提出的新算法通过显式近似长数据后验的扩散过程，消除了对Langevin动态的需求，显著提高了推断的速度和稳定性，并在玩具问题和标准SBI基准上展示了其改进的性能。

🔬 方法详解

问题定义：本文旨在解决在长数据设置下进行后验采样时，现有方法依赖于高成本的Langevin动态所带来的效率问题。

核心思路：提出了一种新算法，通过显式近似长数据后验的扩散过程，避免了传统方法中的Langevin步骤，从而提高了推断的速度和稳定性。

技术框架：该方法的整体架构包括：首先，利用神经网络训练单个上下文观测的分数；然后，组合这些分数以估计长数据后验；最后，通过显式的扩散过程进行采样。

关键创新：最重要的技术创新在于通过显式近似扩散过程，消除了对Langevin动态的依赖，使得推断过程更加高效和稳定。与F-NPSE相比，该方法在速度和稳定性上有显著提升。

关键设计：在算法设计中，采用了特定的损失函数以优化神经网络的训练，确保其能够有效地捕捉长数据设置下的后验分布特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的方法在多个玩具问题和标准SBI基准上均表现出色，相较于F-NPSE，推断速度提高了显著的幅度，同时保持了较高的稳定性，展示了其在复杂模型中的良好可扩展性。

🎯 应用场景

该研究的潜在应用领域包括科学建模、计算神经科学等领域，能够为复杂系统的参数估计提供更高效的工具。未来，该方法可能在其他需要高效后验推断的领域中发挥重要作用，推动相关研究的进展。

📄 摘要（原文）

Identifying the parameters of a non-linear model that best explain observed data is a core task across scientific fields. When such models rely on complex simulators, evaluating the likelihood is typically intractable, making traditional inference methods such as MCMC inapplicable. Simulation-based inference (SBI) addresses this by training deep generative models to approximate the posterior distribution over parameters using simulated data. In this work, we consider the tall data setting, where multiple independent observations provide additional information, allowing sharper posteriors and improved parameter identifiability. Building on the flourishing score-based diffusion literature, F-NPSE (Geffner et al., 2023) estimates the tall data posterior by composing individual scores from a neural network trained only for a single context observation. This enables more flexible and simulation-efficient inference than alternative approaches for tall datasets in SBI. However, it relies on costly Langevin dynamics during sampling. We propose a new algorithm that eliminates the need for Langevin steps by explicitly approximating the diffusion process of the tall data posterior. Our method retains the advantages of compositional score-based inference while being significantly faster and more stable than F-NPSE. We demonstrate its improved performance on toy problems and standard SBI benchmarks, and showcase its scalability by applying it to a complex real-world model from computational neuroscience.