Executing Natural Language-Described Algorithms with Large Language Models: An Investigation

📄 arXiv: 2403.00795v2 📥 PDF

作者: Xin Zheng, Qiming Zhu, Hongyu Lin, Yaojie Lu, Xianpei Han, Le Sun

分类: cs.CL, cs.AI

发布日期: 2024-02-23 (更新: 2024-03-14)

备注: Accepted at LREC-COLING 2024

💡 一句话要点

利用大型语言模型执行自然语言描述的算法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 自然语言处理 算法执行 代码生成 人工智能

📋 核心要点

  1. 核心问题：现有方法在执行自然语言描述的算法时面临理解和执行能力不足的挑战。
  2. 方法要点：通过建立算法测试集，系统评估现有大型语言模型的代码执行能力。
  3. 实验或效果：研究发现GPT-4等模型能够有效执行自然语言描述的程序，尤其在不涉及复杂计算时。

📝 摘要（中文）

执行用自然语言描述的计算机程序一直是计算机科学的追求。随着大型语言模型（LLMs）自然语言理解能力的增强，朝这一目标的路径变得更加明朗。本文探讨了当前LLMs理解和执行自然语言描述算法的能力。我们建立了一个算法测试集，选取了30个算法，并生成了300个随机样本实例，评估流行的LLMs是否能够理解和执行这些算法。研究结果表明，尤其是GPT-4能够有效执行自然语言描述的程序，只要不涉及复杂的数值计算。我们的发现为评估LLMs的代码执行能力提供了贡献，并鼓励进一步探索和应用LLMs的计算能力。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在理解和执行自然语言描述算法方面的能力不足。现有方法在处理复杂算法时常常无法准确执行，限制了其应用场景。

核心思路：通过构建一个包含代表性算法的测试集，系统性地评估LLMs的代码执行能力，尤其是针对自然语言描述的算法。这样的设计旨在揭示LLMs在算法执行中的潜力与局限性。

技术框架：研究首先从《算法导论》一书中选取30个算法，生成300个随机样本实例。然后，使用流行的LLMs（如GPT-4）对这些实例进行理解和执行的评估。

关键创新：本研究的创新点在于系统性地评估LLMs在自然语言算法执行中的能力，尤其是针对不涉及复杂数值计算的场景，揭示了其潜在的应用价值。

关键设计：在实验中，选择了多种流行的LLMs进行对比，重点关注其在理解和执行算法时的表现，特别是如何处理自然语言描述的复杂性。

📊 实验亮点

实验结果显示，GPT-4在理解和执行自然语言描述的算法方面表现出色，能够成功执行大多数算法，尤其是在不涉及复杂数值计算的情况下。这一发现为LLMs的实际应用提供了重要的理论支持。

🎯 应用场景

该研究的潜在应用领域包括教育、编程辅助和自动化软件开发等。通过提高LLMs在自然语言描述算法执行方面的能力，可以为程序员提供更高效的工具，促进人机协作，提升编程效率。

📄 摘要（原文）

Executing computer programs described in natural language has long been a pursuit of computer science. With the advent of enhanced natural language understanding capabilities exhibited by large language models (LLMs), the path toward this goal has been illuminated. In this paper, we seek to examine the capacity of present-day LLMs to comprehend and execute algorithms outlined in natural language. We established an algorithm test set sourced from Introduction to Algorithm, a well-known textbook that contains many representative widely-used algorithms. To systematically assess LLMs' code execution abilities, we selected 30 algorithms, generated 300 random-sampled instances in total, and evaluated whether popular LLMs can understand and execute these algorithms. Our findings reveal that LLMs, notably GPT-4, can effectively execute programs described in natural language, as long as no heavy numeric computation is involved. We believe our findings contribute to evaluating LLMs' code execution abilities and would encourage further investigation and application for the computation power of LLMs.