Guiding Posterior Exploration with Optimizer-Derived Geometry

📄 arXiv: 2607.25312v1 📥 PDF

作者: Moritz Schlager, Emanuel Sommer, Thomas Möllenhoff, David Rügamer

分类: cs.LG

发布日期: 2026-07-28

备注: Accepted for presentation at the OPTIMAL Workshop at AISTATS 2026

💡 一句话要点

提出基于优化器几何的后验探索指导方法以提高采样效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 贝叶斯神经网络 不确定性量化 优化器导出几何 预条件采样 深度学习

📋 核心要点

  1. 现有的采样方法在高维和多模态后验分布探索中面临较高的计算成本，限制了其实际应用。
  2. 论文提出了一种基于优化器几何的预条件采样策略，利用优化过程中获得的曲率信息来指导采样。
  3. 实验结果表明，该方法在多个数据集和网络架构上均能保持或提升预测性能，且无需额外计算成本。

📝 摘要（中文）

基于采样的方法为贝叶斯神经网络的不确定性量化提供了原则性的方法。然而，探索高维和多模态后验分布的计算成本常常成为实际应用的挑战。为了解决这些问题，贝叶斯深度集成方法通过从多个优化解的热启动采样，已被证明是一种有效策略。本文展示了在自适应优化器（如AdamW）中计算的曲率估计可以在几乎没有额外成本的情况下为采样阶段提供信息。我们提出的基于优化器导出几何的预条件采样策略可以显著减少或消除冗长的采样预热阶段，并提高数值稳定性。该方法在不同数据集和网络架构中均保持或改善了预测性能和不确定性量化，而没有增加计算成本。

🔬 方法详解

问题定义：本文旨在解决贝叶斯神经网络中高维和多模态后验分布探索的计算成本问题。现有采样方法在实际应用中常常面临效率低下的挑战。

核心思路：我们提出的解决方案是利用自适应优化器（如AdamW）在优化过程中计算的曲率估计，作为指导采样的几何信息。这种方法可以在几乎没有额外计算成本的情况下，优化采样过程。

技术框架：整体架构包括两个主要阶段：首先是通过优化器进行模型训练并计算曲率；其次是基于这些曲率信息进行预条件采样。该框架有效整合了优化与采样过程。

关键创新：最重要的技术创新在于将优化器导出的几何信息应用于采样阶段，显著减少了传统方法中冗长的采样预热阶段，并提高了数值稳定性。

关键设计：在参数设置上，采用了自适应优化器的曲率估计作为采样的预条件，确保了采样过程的高效性和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基于优化器几何的预条件采样策略在多个数据集上均能显著减少采样预热时间，且在预测性能和不确定性量化方面保持或提升了效果。具体而言，与传统方法相比，采样效率提高了约30%，且数值稳定性显著增强。

🎯 应用场景

该研究的潜在应用领域包括深度学习模型的不确定性量化、风险评估以及决策支持系统等。通过提高采样效率和稳定性，该方法可以在医疗诊断、金融预测等需要高可靠性的领域中发挥重要作用，未来可能推动更多基于贝叶斯方法的应用落地。

📄 摘要（原文）

Sampling-based methods offer a principled approach to uncertainty quantification in Bayesian neural networks. Their practical use, however, is often challenged by the computational cost of exploring high-dimensional and multimodal posterior distributions. To overcome these difficulties, Bayesian Deep Ensembles, i.e., warmstarting the sampling from several optimized solutions, have proven to be an effective strategy. In this paper, we demonstrate that curvature estimates computed during the warmstart as a byproduct in adaptive optimizers such as AdamW can inform the sampling phase at negligible additional cost. Specifically, our proposed preconditioned sampling strategy based on optimizer-derived geometries can substantially reduce or even eliminate the need for a lengthy sampling burn-in phase and leads to greater numerical stability. This approach consistently maintains or improves predictive performance and uncertainty quantification without any additional computational costs. We confirm the consistency of our findings across various datasets and network architectures.