Evolve Cost-aware Acquisition Functions Using Large Language Models

📄 arXiv: 2404.16906v2 📥 PDF

作者: Yiming Yao, Fei Liu, Ji Cheng, Qingfu Zhang

分类: cs.NE, cs.AI

发布日期: 2024-04-25 (更新: 2024-06-13)

💡 一句话要点

提出EvolCAF框架以自动设计成本感知采集函数

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 成本感知优化 贝叶斯优化 进化计算 大型语言模型 自动化设计 超参数调优 信息利用

📋 核心要点

  1. 现有的成本感知优化方法通常依赖于大量领域知识，且手动设计过程繁琐且耗时。
  2. EvolCAF框架通过结合大型语言模型与进化计算，自动生成成本感知采集函数，降低了对专家知识的依赖。
  3. 实验结果表明，EvolCAF在多个合成和真实世界任务中表现出色，效率和泛化能力显著优于传统方法。

📝 摘要（中文）

许多现实世界的优化场景涉及高昂的评估成本和未知的异质性成本。成本感知的贝叶斯优化成为解决这些挑战的突出方案。本文提出EvolCAF，一个将大型语言模型与进化计算相结合的框架，旨在自动设计成本感知的采集函数。EvolCAF通过算法空间中的交叉和变异，显著减少对领域知识和模型训练的依赖。设计的采集函数最大化利用历史数据、代理模型和预算信息，提供清晰的解释以洞察其行为和决策过程。与人类专家设计的EIpu和EI-cool方法相比，我们的方法在多个任务中展示了显著的效率和泛化能力，包括12个合成问题和3个真实世界的超参数调优测试集。

🔬 方法详解

问题定义：本文旨在解决在高成本评估和异质性成本下的优化问题。现有方法通常需要大量领域知识，手动设计采集函数过程繁琐且低效。

核心思路：EvolCAF框架通过结合大型语言模型和进化计算，利用算法空间中的交叉和变异，自动生成成本感知采集函数，从而减少对领域专家的依赖。

技术框架：EvolCAF的整体架构包括数据收集、模型训练、采集函数设计和优化四个主要模块。首先收集历史数据和预算信息，然后训练代理模型，接着通过进化算法生成采集函数，最后进行优化。

关键创新：EvolCAF的主要创新在于将大型语言模型与进化计算结合，形成了一种新的设计范式，能够自动生成高效的采集函数，且提供清晰的决策过程解释。

关键设计：在参数设置上，EvolCAF采用了适应性变异率和交叉策略，损失函数设计为最大化信息利用率，网络结构则基于Transformer架构，以增强模型的表达能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，EvolCAF在12个合成问题和3个真实世界的超参数调优任务中表现优异，相较于传统的EIpu和EI-cool方法，效率提升显著，展示了更强的泛化能力和信息利用率。

🎯 应用场景

EvolCAF框架具有广泛的应用潜力，尤其在需要高效优化的领域，如超参数调优、资源分配和实验设计等。其自动化设计能力将大大降低人工干预，提高优化效率，未来可能在工业和科研领域产生深远影响。

📄 摘要（原文）

Many real-world optimization scenarios involve expensive evaluation with unknown and heterogeneous costs. Cost-aware Bayesian optimization stands out as a prominent solution in addressing these challenges. To approach the global optimum within a limited budget in a cost-efficient manner, the design of cost-aware acquisition functions (AFs) becomes a crucial step. However, traditional manual design paradigm typically requires extensive domain knowledge and involves a labor-intensive trial-and-error process. This paper introduces EvolCAF, a novel framework that integrates large language models (LLMs) with evolutionary computation (EC) to automatically design cost-aware AFs. Leveraging the crossover and mutation in the algorithmic space, EvolCAF offers a novel design paradigm, significantly reduces the reliance on domain expertise and model training. The designed cost-aware AF maximizes the utilization of available information from historical data, surrogate models and budget details. It introduces novel ideas not previously explored in the existing literature on acquisition function design, allowing for clear interpretations to provide insights into its behavior and decision-making process. In comparison to the well-known EIpu and EI-cool methods designed by human experts, our approach showcases remarkable efficiency and generalization across various tasks, including 12 synthetic problems and 3 real-world hyperparameter tuning test sets.