ChatDBG: Augmenting Debugging with Large Language Models
作者: Kyla H. Levin, Nicolas van Kempen, Emery D. Berger, Stephen N. Freund
分类: cs.SE, cs.AI, cs.LG, cs.PL
发布日期: 2024-03-25 (更新: 2025-06-19)
备注: 22 pages, https://doi.org/10.1145/3729355
期刊: FSE 2025
DOI: 10.1145/3729355
💡 一句话要点
提出ChatDBG以增强调试过程中的用户体验和效率
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 调试助手 大型语言模型 程序分析 人工智能 软件开发 自然语言处理 错误修复
📋 核心要点
- 调试是程序开发中的一项复杂任务，现有调试工具在处理复杂问题时往往缺乏灵活性和智能化。
- ChatDBG通过集成大型语言模型，使调试器能够与程序员进行自然语言对话，提升了调试的互动性和效率。
- 实验表明，ChatDBG在分析根本原因和生成修复方案方面表现出色，尤其在Python程序中，成功修复率高达85%。
📝 摘要（中文）
调试是程序员面临的一个关键但具有挑战性的任务。本文提出了ChatDBG，一个基于人工智能的调试助手。ChatDBG集成了大型语言模型（LLMs），显著增强了传统调试器的能力和用户友好性。程序员可以与调试器进行协作对话，提出关于程序状态的复杂问题，进行崩溃或断言失败的根本原因分析，并探索开放式查询。通过赋予LLM自主权，ChatDBG能够独立查询和控制调试器，导航堆栈并检查程序状态。我们的原型与标准调试器（如LLDB、GDB和Python的Pdb）集成，评估结果显示，ChatDBG能够成功分析根本原因、解释错误并生成准确的修复方案。对于Python程序，单个查询的可操作性修复率为67%，而一次额外的后续查询将成功率提高至85%。
🔬 方法详解
问题定义：调试过程中，程序员常常面临复杂的程序状态分析和错误定位问题，现有工具在处理这些复杂查询时效率低下，缺乏智能化支持。
核心思路：ChatDBG通过引入大型语言模型，允许程序员与调试器进行自然语言交互，从而提升调试的灵活性和智能化水平。LLM能够自主查询和控制调试器，进行深度分析。
技术框架：ChatDBG的整体架构包括用户交互模块、LLM处理模块和调试器控制模块。用户通过自然语言输入问题，LLM解析并生成相应的调试命令，调试器执行命令并返回结果。
关键创新：ChatDBG的最大创新在于赋予LLM自主权，使其能够作为独立代理进行调试操作，这与传统调试器依赖程序员手动输入命令的方式有本质区别。
关键设计：在设计中，ChatDBG优化了LLM的查询能力，确保其能够有效理解程序状态，并通过与调试器的无缝集成，快速响应用户的复杂查询。
🖼️ 关键图片
📊 实验亮点
实验结果显示，ChatDBG在处理Python程序时，单个查询的可操作性修复率达到67%，而通过一次后续查询，成功率提升至85%。这些结果表明，ChatDBG在实际应用中显著提高了调试效率和准确性，具有较强的实用性。
🎯 应用场景
ChatDBG的潜在应用领域包括软件开发、教育和技术支持等。它能够帮助程序员更高效地定位和修复错误，提升开发效率，降低调试时间。此外，ChatDBG还可以作为教育工具，帮助学生理解调试过程和程序运行机制，具有重要的实际价值和未来影响。
📄 摘要（原文）
Debugging is a critical but challenging task for programmers. This paper proposes ChatDBG, an AI-powered debugging assistant. ChatDBG integrates large language models (LLMs) to significantly enhance the capabilities and user-friendliness of conventional debuggers. ChatDBG lets programmers engage in a collaborative dialogue with the debugger, allowing them to pose complex questions about program state, perform root cause analysis for crashes or assertion failures, and explore open-ended queries like "why is x null?". To handle these queries, ChatDBG grants the LLM autonomy to "take the wheel": it can act as an independent agent capable of querying and controlling the debugger to navigate through stacks and inspect program state. It then reports its findings and yields back control to the programmer. By leveraging the real-world knowledge embedded in LLMs, ChatDBG can diagnose issues identifiable only through the use of domain-specific reasoning. Our ChatDBG prototype integrates with standard debuggers including LLDB and GDB for native code and Pdb for Python. Our evaluation across a diverse set of code, including C/C++ code with known bugs and a suite of Python code including standalone scripts and Jupyter notebooks, demonstrates that ChatDBG can successfully analyze root causes, explain bugs, and generate accurate fixes for a wide range of real-world errors. For the Python programs, a single query led to an actionable bug fix 67% of the time; one additional follow-up query increased the success rate to 85%. ChatDBG has seen rapid uptake; it has already been downloaded more than 75,000 times.