Prior Predictive Matching for Bayesian LoRA

📄 arXiv: 2610.35457v1 📥 PDF

作者: Tomasz Kuśmierczyk, Eliezer de Souza da Silva, Marcin Sendera

分类: cs.LG, stat.ML

发布日期: 2026-10-26

💡 一句话要点

提出闭式先验预测估计器以解决LoRA超参数选择问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 贝叶斯方法 低秩适应 超参数选择 模型微调 不确定性估计 RoBERTa 预测性能

📋 核心要点

  1. 现有的贝叶斯LoRA方法在微调时需要指定低秩权重更新的先验，导致超参数选择困难。
  2. 本文提出了一种闭式先验预测估计器，通过分析网络的二阶展开来解决超参数选择问题。
  3. 实验结果表明，该方法在多个任务上优于现有的最大后验（MAP）和边际似然选择，且无需验证数据。

📝 摘要（中文）

贝叶斯低秩适应（LoRA）的变体在微调大型基础模型时提供了原则性的不确定性估计，但需要指定低秩权重更新的先验。本文通过引入一个在微调前操作的闭式先验预测估计器，解决了这一超参数选择问题。我们分析了网络的二阶展开，并量化了低秩先验如何驱动功能空间偏离预训练输出。实验结果表明，该估计器在RoBERTa-large上显著提高了预测负对数似然（NLL）和校准性能，且无需验证数据。

🔬 方法详解

问题定义：本文解决了贝叶斯低秩适应（LoRA）中超参数选择的问题，现有方法在选择低秩权重更新的先验时面临困难。

核心思路：通过引入闭式先验预测估计器，利用网络的二阶展开分析低秩先验对功能空间的影响，从而简化超参数选择过程。

技术框架：整体方法包括先验预测估计器的构建、对低秩适应的分析以及在回归和分类任务中的验证。主要模块包括先验选择、模型训练和性能评估。

关键创新：提出的闭式先验预测估计器能够在微调前进行先验选择，且通过协方差推导出矩匹配估计器，显著提高了模型的预测性能。

关键设计：关键参数包括适应秩和先验规模的乘积，理论分析表明最佳先验精度与秩成反比，允许单一估计在不同秩下泛化。

📊 实验亮点

在RoBERTa-large模型上，本文的方法在预测负对数似然（NLL）和校准性能上均优于最大后验（MAP）和边际似然选择，且无需验证数据，显示出显著的性能提升。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在大型语言模型的微调和不确定性估计方面。通过提供有效的超参数选择方法，能够提升模型在实际应用中的可靠性和性能，未来可能影响多个领域如自然语言处理和计算机视觉。

📄 摘要（原文）

Bayesian variants of Low-Rank Adaptation (LoRA) provide principled uncertainty estimation when fine-tuning large foundation models, but require specifying the prior over the low-rank weight updates. We address this hyperparameter selection problem by introducing a closed-form prior-predictive estimator that operates before fine-tuning. We analyze a second-order expansion of the network and quantify how the low-rank prior drives function-space deviations from the pretrained outputs. We also show that these prior-predictive quantities depend on the prior only through the product of the adaptation rank and the fourth power of the prior scale. Because the training targets share a single draw of the latent weight update, we can leverage the covariance between example residuals to derive a moment-matching estimator. Furthermore, our theoretical analysis establishes that the optimal prior precision scales as $r^{-1/2}$ with the rank $r$, allowing a single estimate to generalize across all ranks. Controlled experiments across regression and classification tasks validate our approximation and show that our estimator recovers the true prior scale. On RoBERTa-large, our approach improves predictive negative log-likelihood (NLL) and calibration over both MAP and marginal-likelihood selection without requiring validation data, while achieving competitive out-of-distribution detection.