ReGAL: Refactoring Programs to Discover Generalizable Abstractions

📄 arXiv: 2401.16467v2 📥 PDF

作者: Elias Stengel-Eskin, Archiki Prasad, Mohit Bansal

分类: cs.SE, cs.AI, cs.CL, cs.LG, cs.PL

发布日期: 2024-01-29 (更新: 2024-06-06)

备注: ICML 2024 Camera-Ready; First two authors contributed equally; Code: https://github.com/esteng/regal_program_learning

💡 一句话要点

提出ReGAL以解决大语言模型抽象能力不足的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 程序合成 代码重构 可重用函数 大型语言模型 抽象学习 机器学习 自动化开发

📋 核心要点

  1. 现有的大语言模型在程序合成中缺乏全局视角，导致重复生成冗余代码，效率低且易出错。
  2. 本文提出的ReGAL方法通过代码重构学习可重用函数库，能够在不改变程序输出的情况下优化代码结构。
  3. 实验结果显示，使用ReGAL函数的模型在多个数据集上准确性显著提升，尤其在LOGO和日期理解任务中表现突出。

📝 摘要（中文）

随着大型语言模型（LLMs）在程序合成中的应用日益增多，它们缺乏开发有用抽象所需的全局视角，通常一次预测一个程序，导致功能重复。为了解决这一问题，本文提出了可用于学习可重用函数库的无梯度方法——重构通用抽象学习（ReGAL），通过代码重构实现，即在不改变执行输出的情况下重组代码。ReGAL从一小组现有程序中学习，迭代验证和优化其抽象。实验表明，ReGAL发现的共享函数库使得跨多领域的程序预测更为简便。在五个数据集上，使用ReGAL函数的开源和专有LLMs在程序预测的准确性上均有所提升。对于CodeLlama-13B，ReGAL在LOGO、日期理解和TextCraft上的绝对准确率分别提高了11.5%、26.1%和8.1%，在三个领域中有两个超越了GPT-3.5。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在程序合成中缺乏全局视角的问题，导致生成冗余代码的低效和高错误率。现有方法通常一次生成一个程序，无法有效利用已有代码的抽象能力。

核心思路：ReGAL通过重构现有代码，学习可重用的函数库，进而提高程序的预测能力。该方法通过迭代验证和优化抽象，确保生成的函数在不同领域中具有广泛的适用性。

技术框架：ReGAL的整体架构包括代码重构模块、抽象学习模块和验证模块。首先，通过分析现有程序进行代码重构，接着提取可重用的函数，最后通过执行验证这些抽象的有效性。

关键创新：ReGAL的主要创新在于其无梯度学习方法，通过代码重构而非传统的训练方式来学习抽象。这种方法使得模型能够在不同任务中共享和重用功能，显著提高了效率。

关键设计：在ReGAL中，关键设计包括对重构过程的严格控制，确保输出与原始程序一致。此外，采用了特定的损失函数来评估抽象的有效性，并通过环境动态的捕捉来优化函数库的构建。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用ReGAL的CodeLlama-13B在LOGO、日期理解和TextCraft任务上的准确率分别提高了11.5%、26.1%和8.1%，在三个领域中有两个超越了GPT-3.5，证明了ReGAL在提升模型性能方面的有效性。

🎯 应用场景

ReGAL的研究成果在程序合成、自动化软件开发和代码优化等领域具有广泛的应用潜力。通过提高代码的重用性和可预测性，能够显著提升开发效率，降低错误率，未来可能推动智能编程助手的发展。

📄 摘要（原文）

While large language models (LLMs) are increasingly being used for program synthesis, they lack the global view needed to develop useful abstractions; they generally predict programs one at a time, often repeating the same functionality. Generating redundant code from scratch is both inefficient and error-prone. To address this, we propose Refactoring for Generalizable Abstraction Learning (ReGAL), a gradient-free method for learning a library of reusable functions via code refactorization, i.e., restructuring code without changing its execution output. ReGAL learns from a small set of existing programs, iteratively verifying and refining its abstractions via execution. We find that the shared function libraries discovered by ReGAL make programs easier to predict across diverse domains. On five datasets -- LOGO graphics generation, Date reasoning, TextCraft (a Minecraft-based text-game) MATH, and TabMWP -- both open-source and proprietary LLMs improve in accuracy when predicting programs with ReGAL functions. For CodeLlama-13B, ReGAL results in absolute accuracy increases of 11.5% on LOGO, 26.1% on date understanding, and 8.1% on TextCraft, outperforming GPT-3.5 in two of three domains. Our analysis reveals ReGAL's abstractions encapsulate frequently-used subroutines as well as environment dynamics.