Black-Box Assisted Regression: Phase Transitions and Minimax Optimality

📄 arXiv: 2606.25743v1 📥 PDF

作者: Yan Zhou

分类: cs.LG

发布日期: 2026-06-24

备注: 23 pages, 3 figures. Accepted at the 43rd International Conference on Machine Learning (ICML 2026)

期刊: Proceedings of the 43rd International Conference on Machine Learning, PMLR 306, 2026

💡 一句话要点

提出黑箱辅助回归方法以解决有限标记数据问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 黑箱预测 非参数回归 安全残差估计 相变分析 机器学习 有限标记数据 负迁移

📋 核心要点

  1. 现有方法在使用固定黑箱预测器时，可能导致预测偏差和不可靠性，尤其在标记数据有限的情况下。
  2. 本文提出了一种安全残差估计器，通过学习对$f_0$的修正来提高预测准确性，并避免负迁移。
  3. 实验结果表明，所提方法在合成回归实验中验证了相变，并在CIFAR-100和AG News数据集上展示了有效性。

📝 摘要（中文）

基础模型通常作为固定的黑箱预测器用于下游任务，但其预测可能存在偏差且不应盲目信任。本文研究黑箱辅助非参数回归的情境：学习者观察标记样本并可以查询固定预测器$f_0$，而目标函数$f^*$在未知半径$δ$内接近$f_0$。我们给出了有限样本的最小最大特征，显示出在$δ_c(n) extasymp n^{-β/(2β+d)}$处存在相变，主风险为$ ext{min}ig{δ^2, n^{-2β/(2β+d)}ig"}。我们分析了一种安全残差估计器，它围绕$f_0$学习修正，初始化残差头为零以使初始预测器等于$f_0$，并使用保留选择在验证数据不支持时回退到$f_0$。

🔬 方法详解

问题定义：本文解决的是在有限标记数据下，如何有效利用固定黑箱预测器进行非参数回归的问题。现有方法可能导致预测偏差，尤其是在目标函数与黑箱预测器不一致时。

核心思路：论文提出的安全残差估计器通过围绕黑箱预测器$f_0$学习修正，确保在验证数据不支持时能够安全回退到$f_0$，从而避免负迁移。

技术框架：整体架构包括三个主要模块：首先，学习者观察标记样本并查询黑箱预测器；其次，估计器学习修正并初始化残差头；最后，使用保留选择机制来决定是否回退到$f_0$。

关键创新：最重要的技术创新在于提出了安全残差估计器，能够在保持与黑箱预测器一致性的同时，学习有效的修正，从而实现更好的预测性能。

关键设计：关键设计包括初始化残差头为零，确保初始预测器等于$f_0$，以及通过保留选择机制来控制何时回退到黑箱预测器，避免负迁移的发生。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提安全残差估计器在合成回归任务中成功验证了相变，并在CIFAR-100和AG News数据集上表现出显著的性能提升，相较于基线方法，主风险降低了约$δ^2$和$n^{-2β/(2β+d)}$。

🎯 应用场景

该研究的潜在应用领域包括机器学习中的回归任务，尤其是在标记数据稀缺的情况下。通过有效利用黑箱预测器，该方法能够提升模型的可靠性和安全性，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Foundation models are often used as fixed black-box predictors for downstream tasks with limited labeled data, but their predictions may be biased and unsafe to trust blindly. We study this setting through black-box assisted nonparametric regression: a learner observes labeled samples and can query a fixed predictor $f_0$, while the target $f^*$ is close to $f_0$ in $L_2(P_X)$ up to an unknown radius $δ$. We give a finite-sample minimax characterization showing a phase transition at $δ_c(n) \asymp n^{-β/(2β+d)}$, with leading risk $\min{δ^2, n^{-2β/(2β+d)}}$. We then analyze a Safe Residual Estimator: it learns a correction around $f_0$, initializes the residual head at zero so the initial predictor equals $f_0$, and uses holdout selection to revert to $f_0$ when the learned correction is not supported by validation data. Here, "safe" means avoiding negative transfer, i.e., performing worse than the black-box predictor alone. The estimator matches the leading minimax term up to an additive validation-selection cost. Synthetic regression experiments verify the predicted phase transition, while CIFAR-100 with CLIP and AG News with Qwen3-8B provide practice-facing evidence that the same residual-correction tradeoff is useful beyond the formal squared-loss regression setting.