Budget-Aware LLM Discovery via Cost-Calibrated Frontier Utility
作者: Yansen Zhang, Yilu Liu, Tianyu Liu, Jiamin Chen, Xiaokun Zhang, Kai Xie, Xue Liu, Chen Ma, Yiyan Qi
分类: cs.LG, cs.AI
发布日期: 2026-07-29
💡 一句话要点
提出CostAda以解决预算感知的LLM发现问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 自适应控制 成本校准 前沿效用 预算管理 算法优化 资源利用
📋 核心要点
- 现有的自适应发现控制器未能考虑不同搜索动作的代币成本，导致资源浪费和质量损失。
- 论文提出CostAda，通过成本校准前沿效用来评估前沿进展，优化搜索过程中的预算使用。
- 在多个基准测试中，CostAda在预算仅为一半的情况下，达到了最强基线的全预算质量，并在所有基准中实现了最佳平均最终质量。
📝 摘要（中文）
大型语言模型（LLM）在科学和算法发现中越来越多地通过对评估候选者的推理时间搜索来支持。然而，现有的自适应发现控制器仅基于得分进展分配信用，忽视了提示长度、重试和指导调用等因素导致的搜索动作的不同代币成本。我们证明了盲目信用可能会在前沿增多和成本分歧时，导致可获得质量的损失。为了解决这一问题，我们提出了CostAda，一个基于成本校准前沿效用的自适应控制器。CostAda通过相对已实现的行动成本来评估前沿进展，并根据剩余预算条件进行信用分配。实验表明，CostAda在多个基准测试中以较低的预算实现了更高的最终质量。
🔬 方法详解
问题定义：论文要解决的问题是如何在预算有限的情况下优化大型语言模型的发现过程。现有方法在分配信用时未考虑不同搜索动作的代币成本，导致可获得质量的显著损失。
核心思路：论文的核心解决思路是引入CostAda控制器，该控制器基于成本校准前沿效用来评估前沿进展，并根据实际成本和剩余预算动态调整搜索策略。
技术框架：CostAda的整体架构包括三个主要模块：前沿进展评估模块、成本计算模块和预算管理模块。前沿进展评估模块负责监测和评估不同前沿的进展，成本计算模块则计算每个搜索动作的代币成本，预算管理模块根据剩余预算调整搜索策略。
关键创新：最重要的技术创新点在于引入了成本校准前沿效用的概念，使得搜索过程不仅仅依赖于得分进展，还考虑了实际的代币成本，从而实现了更高效的资源利用。
关键设计：在设计中，CostAda使用了动态调整的信用分配机制，结合了前沿进展和成本信息。此外，关键参数如预算阈值和探索强度也经过精细调整，以确保在不同场景下的最佳性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，CostAda在十二个基准-骨干对中以最多一半的预算达到了最强基线的全预算质量，并在所有八个基准下实现了最佳的平均最终质量，展示了其在资源利用效率上的显著提升。
🎯 应用场景
该研究的潜在应用领域包括科学研究、算法优化和智能系统设计等。通过优化大型语言模型的发现过程，CostAda能够在资源有限的情况下提高模型的效能，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Large language models increasingly support scientific and algorithmic discovery through inference-time search over evaluated candidates. Existing adaptive discovery controllers assign credit based only on score progress, even though prompt length, retries, and guidance calls cause search actions to incur different token costs. We prove that cost-blind credit can forfeit all but a vanishing fraction of attainable quality as frontiers multiply and costs diverge. Under a fixed search-side token budget, the controller must decide which frontier is improving and whether its gain justifies the realized cost before the budget is exhausted. We introduce \textbf{CostAda}, a cost-calibrated adaptive controller built around \emph{cost-calibrated frontier utility}. The utility values frontier progress relative to realized action cost and conditions that credit on the remaining budget. CostAda uses this signal to control local exploration intensity, frontier allocation, and budgeted tactic intervention. Cost and remaining budget therefore shape the search rather than serving only as accounting variables or a stopping rule. CostAda reaches the strongest baseline's full-budget quality with at most half the budget on twelve of sixteen benchmark--backbone pairs while achieving the strongest mean final quality on all eight benchmarks under GLM-5 and GPT-5.4.