Non-Asymptotic Confidence Regions for Separable Nonlinear Models

📄 arXiv: 2610.39549v1 📥 PDF

作者: Szabolcs Szentpéteri, Péter Kovács, Balázs Csanád Csáji

分类: eess.SY, math.ST, stat.ML

发布日期: 2026-10-29

备注: Accepted for publication at the 65th IEEE Conference on Decision and Control (CDC 2026)

💡 一句话要点

提出RPG和GFG方法以解决可分离非线性模型的不确定性量化问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 非线性模型 不确定性量化 置信区域 参数估计 随机扰动 重采样技术 稳健性 信号处理

📋 核心要点

  1. 现有的可分离非线性模型在不确定性量化方面存在挑战，尤其是在参数估计的准确性和可靠性上。
  2. 本文提出的RPG和GFG方法通过随机扰动和重采样技术，构建了无分布假设的置信区域，增强了参数识别的稳健性。
  3. 通过数值实验，验证了所提方法在GFIR系统识别和高斯RBF模型拟合中的有效性，展示了显著的性能提升。

📝 摘要（中文）

本文研究了可分离非线性最小二乘（SNLLS）问题的稳健不确定性量化。我们提出了两种识别方法，即残差扰动梯度（RPG）和全局拟合差（GFG），用于构建线性和非线性参数的联合分布无关置信区域。通过利用噪声的群体不变性假设（如对称性或可交换性），我们应用随机扰动（如符号变化或排列）来基于重采样和排名构建置信区域。我们证明了这两种方法保证了非渐近精确覆盖（第一类错误）。最后，我们通过两个数值实验展示了这些构建：一是使用具有可调衰减率的Laguerre多项式识别广义有限脉冲响应（GFIR）系统，二是拟合具有可变节点和宽度的高斯径向基函数（RBF）模型。

🔬 方法详解

问题定义：本文旨在解决可分离非线性最小二乘问题中的不确定性量化，现有方法在处理噪声和参数估计时存在局限性，导致置信区域的构建不够稳健。

核心思路：通过引入残差扰动梯度（RPG）和全局拟合差（GFG）两种方法，利用噪声的群体不变性，构建无分布假设的置信区域，从而提高参数估计的准确性和可靠性。

技术框架：整体方法包括两个主要模块：第一，应用随机扰动（如符号变化和排列）来生成样本；第二，基于重采样和排名构建置信区域，确保覆盖率的准确性。

关键创新：本文的主要创新在于提出了两种新颖的识别方法（RPG和GFG），它们能够在非渐近条件下保证置信区域的精确覆盖，这在现有文献中尚属首次。

关键设计：在方法设计中，关键参数包括扰动的类型和程度，以及重采样的策略，这些设计确保了构建的置信区域能够有效反映参数的不确定性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，RPG和GFG方法在GFIR系统识别和高斯RBF模型拟合中均表现出优越的性能，相较于传统方法，置信区域的覆盖率显著提高，第一类错误率得到了有效控制，验证了所提方法的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括控制系统、信号处理和机器学习等领域，尤其是在需要进行参数估计和不确定性分析的场景中。通过提供更稳健的置信区域，该方法能够提升模型的可靠性和决策支持能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

This paper studies robust uncertainty quantification for separable nonlinear least squares (SNLLS) problems. We propose two identification methods, (i) Residual-Perturbed Gradient (RPG) and (ii) Global-Fit-Gap (GFG), to construct joint distribution-free confidence regions for both the linear and nonlinear parameters. By exploiting assumed group invariance of the noise (such as symmetry or exchangeability), we apply random perturbations (such as sign-changes or permutations) to build the regions based on resampling and ranking. We prove that both methods guarantee non-asymptotically exact coverage (type I error). Finally, we illustrate the constructions through two numerical experiments: (i) identifying generalized finite impulse response (GFIR) systems using Laguerre polynomials with an adjustable decay rate and (ii) fitting Gaussian radial basis function (RBF) models with variable knots and widths.