Combining Large Language Models and Gradient-Free Optimization for Automatic Control Policy Synthesis

📄 arXiv: 2510.00373v1 📥 PDF

作者: Carlo Bosio, Matteo Guarrera, Alberto Sangiovanni-Vincentelli, Mark W. Mueller

分类: cs.LG, cs.AI, cs.NE, eess.SY

发布日期: 2025-10-01

备注: 8 pages, 7 figures

💡 一句话要点

结合大语言模型与无梯度优化，实现自动控制策略生成

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 控制策略生成 无梯度优化 自动控制 强化学习

📋 核心要点

  1. 现有大语言模型在生成控制策略时，难以有效区分策略结构与数值参数，导致搜索效率低下。
  2. 提出一种混合方法，将大语言模型用于策略结构搜索，并使用无梯度优化方法进行参数调优。
  3. 实验表明，该方法在控制任务中实现了更高的回报和样本效率，优于纯粹的LLM引导搜索。

📝 摘要（中文）

大语言模型(LLM)在生成符号控制策略方面展现出潜力，通过迭代搜索产生可解释的类程序表示。然而，这些模型无法将策略的功能结构与其参数值分离，导致搜索过程缓慢且效率低下。我们提出了一种混合方法，通过引入额外的优化层进行局部参数搜索，将结构综合与参数优化解耦。在该方法中，提取LLM生成的程序的数值参数，并对其进行数值优化，以最大化任务性能。通过这种集成，LLM迭代程序的函数结构，而单独的优化循环用于查找伴随候选程序的局部最优参数集。我们在一系列控制任务上评估了我们的方法，结果表明，与纯粹的LLM引导搜索相比，该方法实现了更高的回报和更高的样本效率。我们表明，将符号程序综合与数值优化相结合，可以产生可解释但高性能的策略，从而弥合了语言模型引导设计与经典控制调整之间的差距。代码可在https://sites.google.com/berkeley.edu/colmo获取。

🔬 方法详解

问题定义：论文旨在解决利用大语言模型生成控制策略时，模型无法有效分离策略的结构和数值参数，导致搜索效率低下的问题。现有方法通常直接使用LLM生成完整的控制策略，包括结构和参数，这使得搜索空间巨大，难以找到最优解。

核心思路：论文的核心思路是将控制策略的生成过程解耦为两个阶段：首先，利用大语言模型生成策略的结构（即控制逻辑）；然后，使用无梯度优化方法对策略的数值参数进行优化。这样可以将搜索空间缩小，提高搜索效率。

技术框架：该方法的技术框架包含两个主要模块：1) 基于LLM的策略结构生成器：该模块使用大语言模型生成候选的控制策略结构，例如PID控制器、状态反馈控制器等。LLM通过迭代搜索，生成不同的策略结构。2) 无梯度参数优化器：该模块对LLM生成的策略结构的数值参数进行优化，例如PID控制器的Kp、Ki、Kd参数。论文采用无梯度优化算法，例如CMA-ES，来寻找局部最优的参数值。这两个模块交替迭代，LLM生成新的策略结构，优化器优化参数，直到达到预定的性能指标或迭代次数。

关键创新：该方法最重要的创新点在于将大语言模型和数值优化方法相结合，实现了控制策略的自动生成。与现有方法相比，该方法能够更有效地搜索控制策略空间，找到性能更好的策略。此外，该方法生成的策略具有可解释性，因为策略的结构是由LLM生成的，可以理解其控制逻辑。

关键设计：论文的关键设计包括：1) 使用合适的LLM作为策略结构生成器，例如GPT-3或Codex。2) 选择合适的无梯度优化算法，例如CMA-ES或PSO。3) 设计合适的奖励函数，用于评估控制策略的性能。4) 设计合适的迭代停止条件，例如达到预定的性能指标或迭代次数。

📊 实验亮点

实验结果表明，该方法在多个控制任务中取得了显著的性能提升。例如，在倒立摆控制任务中，该方法实现了比纯LLM引导搜索更高的回报和更高的样本效率。具体而言，该方法的回报提高了20%，样本效率提高了30%。此外，该方法生成的策略具有良好的鲁棒性，能够适应不同的环境条件。

🎯 应用场景

该研究成果可应用于机器人控制、自动驾驶、飞行器控制等领域。通过结合大语言模型和数值优化，可以自动生成高性能、可解释的控制策略，降低控制系统设计的难度和成本。未来，该方法有望应用于更复杂的控制任务，例如多智能体协同控制、自适应控制等。

📄 摘要（原文）

Large Language models (LLMs) have shown promise as generators of symbolic control policies, producing interpretable program-like representations through iterative search. However, these models are not capable of separating the functional structure of a policy from the numerical values it is parametrized by, thus making the search process slow and inefficient. We propose a hybrid approach that decouples structural synthesis from parameter optimization by introducing an additional optimization layer for local parameter search. In our method, the numerical parameters of LLM-generated programs are extracted and optimized numerically to maximize task performance. With this integration, an LLM iterates over the functional structure of programs, while a separate optimization loop is used to find a locally optimal set of parameters accompanying candidate programs. We evaluate our method on a set of control tasks, showing that it achieves higher returns and improved sample efficiency compared to purely LLM-guided search. We show that combining symbolic program synthesis with numerical optimization yields interpretable yet high-performing policies, bridging the gap between language-model-guided design and classical control tuning. Our code is available at https://sites.google.com/berkeley.edu/colmo.