PECC: Problem Extraction and Coding Challenges

📄 arXiv: 2404.18766v1 📥 PDF

作者: Patrick Haller, Jonas Golde, Alan Akbik

分类: cs.AI

发布日期: 2024-04-29

备注: This paper got accepted at LREC-COLING 2024 (long)

💡 一句话要点

提出PECC基准以解决LLM在问题理解与代码生成中的挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 问题解决 代码生成 基准测试 自然语言处理 教育技术 自动化系统

📋 核心要点

  1. 现有基准测试未能全面评估LLMs在理解叙述性问题和生成代码解决方案方面的能力。
  2. PECC基准通过要求LLMs解读叙述性问题并生成代码，填补了这一研究空白。
  3. 实验结果表明，模型在不同类型问题上的表现差异，为评估LLMs的通用问题解决能力提供了新框架。

📝 摘要（中文）

近年来，大型语言模型（LLMs）在代码生成、问题解决和推理等任务中展现出卓越能力。然而，现有基准测试往往孤立评估任务，尚未探讨LLMs在理解叙述风格任务、识别潜在问题及生成相应代码解决方案方面的能力。为填补这一空白，本文提出了PECC，一个基于Advent Of Code（AoC）挑战和Project Euler的全新基准，包含2396个问题。PECC要求LLMs解读嵌入叙述的问题，提取需求并生成可执行代码，特别是在基于自然语言的聊天评估中增加了复杂性，反映了现实世界指令的模糊性。实验结果显示，模型在叙述性问题与中性问题之间的表现差异，GPT-3.5-Turbo在AoC挑战中通过率为50%，而在Euler问题中仅为8%。

🔬 方法详解

问题定义：本文旨在解决现有基准测试无法全面评估LLMs在理解叙述性任务和生成代码方面的不足。现有方法往往孤立评估任务，缺乏对自然语言指令的处理能力。

核心思路：PECC基准通过引入叙述性问题，要求LLMs提取需求并生成代码，模拟真实世界中的指令模糊性，从而更全面地评估其能力。

技术框架：PECC基准包含2396个问题，分为叙述性和中性问题，模型需在聊天环境中进行评估。整体流程包括问题解读、需求提取和代码生成三个主要模块。

关键创新：PECC的创新在于其综合性评估框架，要求模型在自然语言环境中理解和解决问题，与传统基准的孤立评估方法形成鲜明对比。

关键设计：在实验中，采用了GPT-3.5-Turbo模型进行评估，设置了不同类型问题的通过率，特别关注Euler数学问题的挑战性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GPT-3.5-Turbo在AoC挑战中的通过率达到50%，而在Euler问题中仅为8%，揭示了模型在不同问题类型上的表现差异。这一发现为进一步优化LLMs的性能提供了重要依据。

🎯 应用场景

PECC基准的提出为大型语言模型在实际应用中的问题解决能力提供了新的评估标准，尤其适用于教育、编程辅助和自动化任务等领域。通过更好地理解和生成代码，LLMs可以在复杂的指令环境中发挥更大作用，推动智能助手和自动化系统的发展。

📄 摘要（原文）

Recent advancements in large language models (LLMs) have showcased their exceptional abilities across various tasks, such as code generation, problem-solving and reasoning. Existing benchmarks evaluate tasks in isolation, yet the extent to which LLMs can understand prose-style tasks, identify the underlying problems, and then generate appropriate code solutions is still unexplored. Addressing this gap, we introduce PECC, a novel benchmark derived from Advent Of Code (AoC) challenges and Project Euler, including 2396 problems. Unlike conventional benchmarks, PECC requires LLMs to interpret narrative-embedded problems, extract requirements, and generate executable code. A key feature of our dataset is the complexity added by natural language prompting in chat-based evaluations, mirroring real-world instruction ambiguities. Results show varying model performance between narrative and neutral problems, with specific challenges in the Euler math-based subset with GPT-3.5-Turbo passing 50% of the AoC challenges and only 8% on the Euler problems. By probing the limits of LLMs' capabilities, our benchmark provides a framework to monitor and assess the subsequent progress of LLMs as a universal problem solver.