Improving LLM Classification of Logical Errors by Integrating Error Relationship into Prompts

📄 arXiv: 2404.19336v3 📥 PDF

作者: Yanggyu Lee, Suchae Jeong, Jihie Kim

分类: cs.AI, cs.PL

发布日期: 2024-04-30 (更新: 2024-11-17)

备注: Published in ITS 2024 (Best Paper Award)

💡 一句话要点

通过整合错误关系提升LLM对逻辑错误的分类能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 逻辑错误 大型语言模型 编程教育 错误检测 数据集生成 机器学习 自然语言处理

📋 核心要点

  1. 逻辑错误在编程中常常不被编译器检测，导致程序员难以识别和修复这些错误。
  2. 提出了一种基于错误类型关系的提示方法，通过Chain-of-Thought和Tree-of-Thought结构来检测逻辑错误。
  3. 实验结果显示，使用新方法的分类性能比传统方法提高了约21%，并生成了新的逻辑错误数据集。

📝 摘要（中文）

随着大型语言模型（LLMs）在编程语法理解方面的进步，它们为开发者提供了有效的支持，并在编程教育中发挥了重要作用。然而，逻辑错误作为一种不被编译器检测的错误，给程序员带来了挑战。本文首先定义了逻辑错误的类型，并提出了一种利用错误类型之间关系的有效检测方法。实验结果表明，使用包含逻辑错误描述的提示时，分类性能平均提高了21%。此外，研究还利用LLMs生成了新的逻辑错误数据集，为编程相关应用提供了有价值的基准数据。

🔬 方法详解

问题定义：本文旨在解决逻辑错误的检测问题，现有方法无法有效识别这些不被编译器提示的错误，给程序员带来了困扰。

核心思路：通过定义逻辑错误类型，并利用错误之间的关系，构建包含这些关系的提示，从而提升LLMs对逻辑错误的检测能力。

技术框架：整体方法包括定义逻辑错误类型、构建基于错误关系的提示、使用LLMs进行分类和评估性能等主要模块。

关键创新：本研究的创新在于将错误类型之间的关系整合进提示中，显著提高了LLMs在逻辑错误分类任务中的表现，与传统方法相比具有本质区别。

关键设计：在提示设计中，采用了Chain-of-Thought和Tree-of-Thought结构，确保错误关系的有效传递，同时在实验中使用了特定的评估指标来量化分类性能的提升。

📊 实验亮点

实验结果表明，使用包含逻辑错误描述的提示时，LLMs的分类性能平均提高了21%。这一显著提升展示了新方法在逻辑错误检测中的有效性，并为生成新的逻辑错误数据集提供了基础。

🎯 应用场景

该研究的潜在应用领域包括编程教育、代码审查工具和自动化调试系统。通过帮助初学者更有效地识别和修复逻辑错误，能够提升编程学习的效率和质量，未来可能对软件开发过程产生深远影响。

📄 摘要（原文）

LLMs trained in the understanding of programming syntax are now providing effective assistance to developers and are being used in programming education such as in generation of coding problem examples or providing code explanations. A key aspect of programming education is understanding and dealing with error message. However, 'logical errors' in which the program operates against the programmer's intentions do not receive error messages from the compiler. In this study, building on existing research on programming errors, we first define the types of logical errors that can occur in programming in general. Based on the definition, we propose an effective approach for detecting logical errors with LLMs that makes use of relations among error types in the Chain-of-Thought and Tree-of-Thought prompts. The experimental results indicate that when such logical error descriptions in the prompt are used, the average classifition performance is about 21% higher than the ones without them. We also conducted an experiment for exploiting the relations among errors in generating a new logical error dataset using LLMs. As there is very limited dataset for logical errors such benchmark dataset can be very useful for various programming related applications. We expect that our work can assist novice programmers in identifying the causes of code errors and correct them more effectively.