Evaluating LLMs in Database Scenarios: A Lifecycle Benchmark for Assessing Their Potential in Core Database Tasks
作者: Shunfan Zheng, Dongsheng Shi, Yue Li, Xin Yi, Linlin Wang, Gerard de Melo
分类: cs.DB, cs.AI, cs.CL
发布日期: 2026-08-04
💡 一句话要点
提出DBLifeBench以评估LLMs在数据库生命周期中的潜力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 数据库管理 评估基准 生命周期 自然语言处理 结构化推理 智能数据库 灾难性遗忘
📋 核心要点
- 现有评估基准主要集中于Text-to-SQL任务，忽视了数据库管理的整体生命周期，导致评估结果片面。
- 提出DBLifeBench基准，涵盖数据库生命周期的五个关键阶段，全面评估LLMs的能力。
- 实验结果显示，通用模型在各阶段表现均衡，而专门的Text-to-SQL模型在非编码阶段表现不佳，存在灾难性遗忘问题。
📝 摘要（中文）
大型语言模型（LLMs）正在改变数据库交互模式，从简单的查询翻译演变为自主的数据库管理员（DBAs）。然而，现有的评估基准过于集中于Text-to-SQL任务，忽视了从初始架构设计到后期维护的整体数据库生命周期。为此，我们提出DBLifeBench，这是第一个评估LLMs在设计、实施、操作、调试和维护五个关键生命周期阶段表现的基准。此外，我们提出了Progressive-Text2SQL任务，利用结构化推理图模拟人类的迭代问题解决过程。我们的广泛评估揭示了一个关键见解：尽管通用模型表现平衡，专门的Text-to-SQL模型在设计和维护等非编码阶段却遭遇“灾难性遗忘”。DBLifeBench为评估和构建真正的全栈数据库智能奠定了基础。
🔬 方法详解
问题定义：论文要解决的问题是现有评估方法过于狭隘，主要集中在Text-to-SQL任务，未能全面反映数据库管理的复杂性和多样性。
核心思路：通过引入DBLifeBench基准，涵盖数据库生命周期的五个阶段，提供一个全面的评估框架。同时，提出Progressive-Text2SQL任务，通过结构化推理图来模拟人类的迭代问题解决过程。
技术框架：整体架构包括五个主要模块：设计、实施、操作、调试和维护。每个模块针对特定的数据库管理任务进行评估，确保全面覆盖。
关键创新：最重要的技术创新在于DBLifeBench的提出，它是第一个考虑数据库生命周期各个阶段的评估基准，与现有方法相比，提供了更全面的评估视角。
关键设计：在Progressive-Text2SQL任务中，采用结构化推理图来处理自然语言与SQL逻辑之间的认知差异，设计了相应的损失函数和网络结构，以提高模型在复杂任务中的表现。
🖼️ 关键图片
📊 实验亮点
实验结果表明，通用模型在DBLifeBench基准上表现均衡，而专门的Text-to-SQL模型在设计和维护阶段的表现显著下降，显示出灾难性遗忘现象。这一发现强调了全面评估的重要性，为未来的研究提供了新的方向。
🎯 应用场景
该研究的潜在应用领域包括数据库管理系统的智能化、自动化数据库维护工具的开发以及数据库设计辅助工具。通过提升LLMs在数据库生命周期各阶段的表现，能够显著提高数据库管理的效率和准确性，推动智能数据库技术的发展。
📄 摘要（原文）
Large Language Models (LLMs) are transforming database interaction paradigms, evolving from simple query translators to autonomous database administrators (DBAs). However, current evaluation benchmarks remain disproportionately fixated on Text-to-SQL tasks, neglecting the holistic Database Lifecycle-from initial schema design to post-deployment maintenance. This narrow focus fails to capture the diverse capabilities required for real-world database management. To bridge this gap, we introduce DBLifeBench, the first benchmark to evaluate LLMs across five critical lifecycle phases: Design, Implementation, Operation, Debugging, and Maintenance. Furthermore, addressing the cognitive mismatch between ambiguous natural language and complex SQL logic, we propose Progressive-Text2SQL, a novel task utilizing structured reasoning graphs to mimic human iterative problem-solving. Our extensive evaluation reveals a critical insight: while general-purpose models demonstrate balanced performance, specialized Text-to-SQL models suffer from ``catastrophic forgetting'' in non-coding phases like design and maintenance. DBLifeBench serves as a foundational step toward evaluating and building true full-stack database intelligence.