Algorithm Evolution Using Large Language Model

📄 arXiv: 2311.15249v1 📥 PDF

作者: Fei Liu, Xialiang Tong, Mingxuan Yuan, Qingfu Zhang

分类: cs.NE, cs.AI, cs.LG

发布日期: 2023-11-26

💡 一句话要点

提出算法进化方法以自动生成优化算法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 优化算法 大语言模型 算法进化 旅行商问题 自动生成

📋 核心要点

  1. 现有优化算法设计依赖于专家知识，过程繁琐且耗时，限制了算法的普适性和效率。
  2. 提出的AEL方法利用大语言模型在进化框架下自动生成优化算法，减少了对人力和领域知识的依赖。
  3. 实验结果显示，AEL生成的算法在旅行商问题上表现优于传统手工设计和其他LLM生成的启发式算法，具有良好的可扩展性。

📝 摘要（中文）

优化问题在许多实际应用中都存在。为特定优化问题设计有效算法通常需要专家的领域知识和算法设计技能，过程繁琐。本文提出了一种新方法，称为基于大语言模型的算法进化（AEL），利用大语言模型自动生成优化算法，且无需模型训练。AEL显著减少了人力投入和对领域知识的需求。以旅行商问题为例，实验表明，AEL生成的算法优于简单的手工设计和LLM生成的启发式算法，并在不同问题规模上展现出优异的可扩展性。AEL与以往将LLM作为搜索算子的尝试有本质区别。

🔬 方法详解

问题定义：本文旨在解决优化算法设计过程中的人力成本高和对领域知识依赖的问题。现有方法往往需要专家进行繁琐的手工设计，效率低下。

核心思路：AEL方法通过大语言模型自动生成优化算法，采用进化框架进行算法级别的进化，避免了传统模型训练的复杂性，从而降低了人力需求和领域知识的依赖。

技术框架：AEL的整体架构包括数据输入、算法生成、评估与选择等主要模块。首先，输入优化问题的描述，然后通过大语言模型生成初步算法，最后对生成的算法进行评估并选择最优解。

关键创新：AEL的最大创新在于其无需进行模型训练，直接利用大语言模型进行算法生成，显著提高了效率，并且与以往将LLM作为搜索算子的方式有本质区别。

关键设计：在算法生成过程中，AEL采用了特定的参数设置和评估标准，以确保生成算法的有效性和可行性。具体的损失函数和评估指标未在摘要中详细说明，需参考原文。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AEL生成的算法在旅行商问题上显著优于传统手工设计的算法和其他LLM生成的启发式算法，具体性能提升幅度未在摘要中给出，需参考原文以获取详细数据。

🎯 应用场景

该研究的潜在应用领域包括物流优化、资源分配、调度问题等多个实际场景。通过自动生成优化算法，AEL能够帮助企业和研究机构快速应对复杂的优化挑战，提升决策效率，降低人力成本，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Optimization can be found in many real-life applications. Designing an effective algorithm for a specific optimization problem typically requires a tedious amount of effort from human experts with domain knowledge and algorithm design skills. In this paper, we propose a novel approach called Algorithm Evolution using Large Language Model (AEL). It utilizes a large language model (LLM) to automatically generate optimization algorithms via an evolutionary framework. AEL does algorithm-level evolution without model training. Human effort and requirements for domain knowledge can be significantly reduced. We take constructive methods for the salesman traveling problem as a test example, we show that the constructive algorithm obtained by AEL outperforms simple hand-crafted and LLM-generated heuristics. Compared with other domain deep learning model-based algorithms, these methods exhibit excellent scalability across different problem sizes. AEL is also very different from previous attempts that utilize LLMs as search operators in algorithms.