Bandits in Prod: Hyperparameter Optimization at Inference Time

📄 arXiv: 2609.01335v1 📥 PDF

作者: Louis Abraham, Tuan-Anh Nguyen, Nicolas Devatine

分类: cs.LG, cs.AI

发布日期: 2026-09-01

备注: 32 pages, 14 figures

💡 一句话要点

提出IMABO框架以解决在线超参数优化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 在线超参数优化 多臂赌博机 IMABO框架 机器学习 智能系统

📋 核心要点

  1. 核心问题：现有方法在实时请求中评估配置时，缺乏有效的验证数据，导致超参数优化困难。
  2. 方法要点：提出IMABO框架，结合赌博策略与oracle，解决在线超参数优化问题。
  3. 实验或效果：IMABO在多种设置中表现优异，显著降低了累积遗憾，相较于基线有明显提升。

📝 摘要（中文）

许多生产系统只能通过在实时请求中评估配置并观察噪声反馈来进行评估。现代智能系统在推理时面临模型选择、检索深度、提示策略和解码温度等选择，但通常缺乏代表性的验证数据。本文将这一设置形式化为在线超参数优化（OHPO），并将其视为一个无限多臂赌博机问题。我们提出了IMABO框架，结合了任何用于选择已采样配置的赌博策略与任何用于提出新配置的oracle。通过与三种实际oracle结合，IMABO在多种OHPO设置中实现了最低的累积遗憾。

🔬 方法详解

问题定义：本文旨在解决在线超参数优化（OHPO）问题，现有方法在实时环境中评估配置时，往往缺乏代表性验证数据，导致优化效果不佳。

核心思路：IMABO框架结合了赌博策略与oracle，能够在实时反馈中有效选择和提出新配置，从而优化超参数。通过这种设计，IMABO能够动态适应环境变化，提升优化效率。

技术框架：IMABO框架包括两个主要模块：一是选择已采样配置的赌博策略，二是提出新配置的oracle。IMOSS作为具体实现，采用无重启的策略，活跃集随着时间增长。

关键创新：IMABO的创新在于其灵活性和适应性，能够在多种条件下有效工作，且在理论上证明了累积遗憾的界限，提供了新的优化思路。

关键设计：IMOSS的活跃集增长率由参数β控制，且通过结合三种实际oracle（树状Parzen估计器、基于坐标的赌博驱动的现任变异oracle、预训练的表格基础模型）来提升性能，均优于均匀随机oracle基线。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多种在线超参数优化设置中，IMABO框架实现了最低的累积遗憾，相较于均匀随机oracle基线，性能显著提升，证明了其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器学习模型的超参数调优、智能代理的配置优化等。IMABO框架能够在实时环境中动态调整配置，提升系统性能，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Many production systems can assess a configuration only by using it on live requests and observing noisy feedback. Modern agentic systems are a prominent example, with inference-time choices such as model selection, retrieval depth, prompting strategy, and decoding temperature, yet often with no representative validation data. We formalize this setting as Online Hyperparameter Optimization (OHPO) and cast it as an infinitely many-armed bandit over mixed and conditional search spaces. We introduce IMABO, a general framework that combines any bandit policy for choosing among already sampled configurations with any oracle for proposing new ones. We instantiate it with IMOSS, a restart-free anytime policy whose active set grows as $t^β$, and prove an expected cumulative quantile-regret bound of $O(p_ρ^{-1/β} + T^{(1+β)/2})$, where $β\in(0,1)$ controls active-set growth and $p_ρ$ lower-bounds the probability that a proposed configuration falls in the top-$ρ$ fraction of the search space. We combine IMOSS with three practical oracles: a Tree-structured Parzen Estimator, an incumbent-mutation oracle driven by a per-coordinate bandit, and a pretrained tabular foundation model, all three improving over the uniform random oracle baseline. IMABO obtains the lowest cumulative regret across diverse OHPO settings, from tuning classical machine-learning models to configuring LLM-based agents.