XMSE-Aware Adaptive Empirical Bayes Estimation

📄 arXiv: 2606.26975v1 📥 PDF

作者: Minghao Chen, Jiale Zheng

分类: stat.ML, cs.AI, cs.LG, eess.SY, stat.ME

发布日期: 2026-06-25

备注: 16 pages, 1 figure, 14 tables

💡 一句话要点

提出XMSE感知自适应经验贝叶斯估计以优化参数估计

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 经验贝叶斯估计 最大似然估计 过量均方误差 核选择 统计推断 机器学习 参数估计

📋 核心要点

  1. 现有的经验贝叶斯估计在核与真实参数不匹配时，可能导致较高的过量均方误差，影响估计精度。
  2. 本文提出了一种XMSE感知混合估计器，通过在最大似然和经验贝叶斯收缩之间插值，优化估计性能。
  3. 实验结果表明，所提估计器在多个基准测试中表现优异，能够在核误设定下有效回退至最大似然估计。

📝 摘要（中文）

经验贝叶斯（EB）估计器能够匹配最大似然（ML）的一级渐近风险，但在二级表现上却有显著差异。最近的过量均方误差（XMSE）分析表明，当核与真实参数不匹配时，基于核的EB估计可能劣于ML。本文将这一诊断转化为设计原则，提出了一种XMSE感知混合估计器，该估计器在ML和EB收缩之间进行插值。其固定权重XMSE为标量二次形式，得出了一种闭式的oracle混合权重，确保在XMSE尺度上不劣于ML和基础EB估计器。基于有限样本XMSE近似的插件实现被证明是一致的，并且对于内部oracle权重具有二级oracle遗憾率。进一步建立了遗憾界限向固定权重风险曲线的转移，并扩展到紧凑核族及有限和增长的核字典，具有高概率的oracle界限。通过与SURE调优、硬选择和迹校正基线的有限脉冲响应模拟，以及公共的Silverbox和Cascaded Tanks基准，显示所提估计器在有利时保留了大部分正则化的好处，并在核误设定下向ML回退。

🔬 方法详解

问题定义：本文旨在解决经验贝叶斯估计在核选择不当时导致的过量均方误差（XMSE）问题。现有方法在核与真实参数不匹配时，表现不如最大似然估计（ML），影响了参数估计的准确性。

核心思路：提出XMSE感知混合估计器，通过在最大似然和经验贝叶斯收缩之间进行插值，设计出一种在XMSE尺度上不劣于ML和基础EB估计器的估计方法。

技术框架：整体架构包括XMSE分析、混合权重的闭式解、插件实现和一致性证明。主要模块包括XMSE的计算、权重选择和风险评估。

关键创新：最重要的创新点在于提出了一种XMSE感知的混合估计方法，能够在核选择不当时有效回退至最大似然估计，显著提高了估计的稳定性和准确性。

关键设计：设计了固定权重XMSE为标量二次形式，得出闭式oracle混合权重，并基于有限样本XMSE近似实现了一致性，确保在不同场景下的有效性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，所提XMSE感知混合估计器在多个基准测试中表现优异，能够在核选择不当时有效回退至最大似然估计，保持了大部分正则化的好处。与SURE调优、硬选择和迹校正基线相比，所提方法在XMSE尺度上具有显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括统计推断、机器学习模型的参数估计以及信号处理等。通过优化参数估计的准确性，能够在实际应用中提高模型的性能，尤其是在数据稀缺或核选择不当的情况下，具有重要的实际价值和影响。

📄 摘要（原文）

Empirical Bayes (EB) estimators can match the first-order asymptotic risk of maximum likelihood (ML) while behaving very differently at second order: recent excess mean squared error (XMSE) analysis shows that kernel-based EB estimation may be worse than ML when the kernel is poorly aligned with the true parameter. This paper turns that diagnostic into a design principle. We propose an XMSE-aware mixed estimator that interpolates between ML and EB shrinkage. Its fixed-weight XMSE is a scalar quadratic, yielding a closed-form oracle mixing weight that is no worse than both ML and the base EB estimator at the XMSE scale. A plug-in implementation based on finite-sample XMSE approximations is proved consistent, with a second-order oracle regret rate for an interior oracle weight. We further establish a transfer of the regret bound to the fixed-weight risk curve evaluated at the selected weight, a thresholded boundary rule, and extensions to compact kernel families and to finite and growing kernel dictionaries with high-probability oracle bounds. Finite impulse response simulations with SURE-tuned, hard-selection, and trace-corrected baselines, together with the public Silverbox and Cascaded Tanks benchmarks, show that the proposed estimator retains most of the benefit of regularization when it is helpful and retreats toward ML under kernel misspecification, with an identified finite-de analyzed on the benchmarks.