LangProp: A code optimization framework using Large Language Models applied to driving

📄 arXiv: 2401.10314v2 📥 PDF

作者: Shu Ishida, Gianluca Corrado, George Fedoseev, Hudson Yeo, Lloyd Russell, Jamie Shotton, João F. Henriques, Anthony Hu

分类: cs.SE, cs.AI, cs.LG, cs.RO

发布日期: 2024-01-18 (更新: 2024-05-03)

🔗 代码/项目: GITHUB

💡 一句话要点

提出LangProp框架以优化大型语言模型生成的代码

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 代码优化 大型语言模型 自动驾驶 强化学习 模仿学习 性能评估 迭代优化

📋 核心要点

  1. 现有的代码生成方法往往生成次优代码，尤其在处理边缘案例时表现不佳。
  2. LangProp框架通过自动评估代码性能并反馈给LLM，实现代码的迭代优化。
  3. 在数独和CartPole等任务中验证了LangProp的有效性，并首次在自动驾驶领域展示了其应用潜力。

📝 摘要（中文）

我们提出了LangProp，一个用于迭代优化大型语言模型（LLMs）生成代码的框架，适用于监督学习和强化学习场景。虽然LLMs能够零-shot生成合理的编码解决方案，但通常存在次优问题，尤其是在代码生成任务中，初始代码可能在某些边缘案例中失败。LangProp自动评估代码在输入-输出对数据集上的性能，捕捉异常，并将结果反馈给LLM，以便其迭代改进生成的代码。通过采用以指标和数据驱动的训练范式，LangProp能够轻松适应传统机器学习技术的发现，如模仿学习、DAgger和强化学习。我们展示了LangProp在数独和CartPole等通用领域的适用性，并首次证明了其在CARLA中进行自动驾驶代码优化的概念验证。LangProp能够生成可解释和透明的策略，能够以指标和数据驱动的方式进行验证和改进。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型生成的代码在性能和可靠性上的不足，尤其是在边缘案例处理中的失败问题。现有方法往往无法有效优化生成的代码，导致次优结果。

核心思路：LangProp框架通过自动评估生成代码的性能，并将评估结果反馈给LLM，促使其在后续生成中进行改进。这种迭代优化过程使得模型能够逐步提高代码质量。

技术框架：LangProp的整体架构包括数据集准备、代码生成、性能评估和反馈机制四个主要模块。首先，模型生成初始代码，然后在输入-输出对上进行性能评估，最后将评估结果反馈给模型以进行迭代优化。

关键创新：LangProp的主要创新在于其将传统机器学习技术（如模仿学习和强化学习）与大型语言模型的代码生成能力相结合，形成了一种新的以数据和指标驱动的优化方法。这种方法与现有的静态代码分析或单次生成方法有本质区别。

关键设计：在设计中，LangProp采用了特定的损失函数来衡量代码的性能，并通过动态调整反馈机制来优化生成过程。此外，框架支持多种输入-输出对的评估，以确保生成代码的广泛适用性。

🖼️ 关键图片

img_0

📊 实验亮点

LangProp在数独和CartPole等任务中表现出色，成功实现了代码性能的显著提升。在CARLA的自动驾驶应用中，LangProp首次展示了自动化代码优化的概念，生成的策略具有良好的可解释性和透明性，能够在数据驱动的基础上进行有效验证和改进。

🎯 应用场景

LangProp框架具有广泛的应用潜力，尤其在软件开发、自动驾驶和机器人控制等领域。通过提高代码生成的可靠性和性能，LangProp能够帮助开发者更高效地创建高质量代码，减少调试和维护成本。未来，该框架还可能扩展到其他需要自动化代码生成的场景，如游戏开发和数据分析。

📄 摘要（原文）

We propose LangProp, a framework for iteratively optimizing code generated by large language models (LLMs), in both supervised and reinforcement learning settings. While LLMs can generate sensible coding solutions zero-shot, they are often sub-optimal. Especially for code generation tasks, it is likely that the initial code will fail on certain edge cases. LangProp automatically evaluates the code performance on a dataset of input-output pairs, catches any exceptions, and feeds the results back to the LLM in the training loop, so that the LLM can iteratively improve the code it generates. By adopting a metric- and data-driven training paradigm for this code optimization procedure, one could easily adapt findings from traditional machine learning techniques such as imitation learning, DAgger, and reinforcement learning. We show LangProp's applicability to general domains such as Sudoku and CartPole, as well as demonstrate the first proof of concept of automated code optimization for autonomous driving in CARLA. We show that LangProp can generate interpretable and transparent policies that can be verified and improved in a metric- and data-driven way. Our code is available at https://github.com/shuishida/LangProp.