Can LLMs substitute SQL? Comparing Resource Utilization of Querying LLMs versus Traditional Relational Databases

📄 arXiv: 2404.08727v1 📥 PDF

作者: Xiang Zhang, Khatoon Khedri, Reza Rawassizadeh

分类: cs.DB, cs.AI, cs.CL

发布日期: 2024-04-12

备注: 13 pages, 2 figures, 5 tables

💡 一句话要点

评估LLM在数据库查询中的资源利用与传统SQL的对比

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 数据库查询 资源利用 自然语言处理 关系数据库 能耗评估 软件工程

📋 核心要点

  1. 现有的数据库查询方法在资源利用和环境友好性方面存在不足，尤其是使用LLM时的能耗问题。
  2. 论文通过实证研究比较了九种不同参数规模的LLM与传统SQL在资源利用和准确性上的表现。
  3. 研究结果显示，LLM在数据库查询中产生的能耗显著高于传统方法，建议继续使用关系数据库。

📝 摘要（中文）

大型语言模型（LLMs）能够自动化或替代软件工程过程中的不同任务。本研究评估了LLM在解释和执行自然语言查询时的资源利用和准确性，特别是与传统关系数据库管理系统中的SQL进行比较。我们实证考察了九种不同参数规模的LLM，从7亿到34亿不等，结果表明使用LLM进行数据库查询会产生显著的能耗开销，因此不建议用LLM替代关系数据库。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型（LLMs）在数据库查询中的资源利用效率和环境影响问题。现有方法在使用LLM时，能耗显著增加，影响其作为SQL替代方案的可行性。

核心思路：通过实证比较不同规模的LLM与传统SQL在执行自然语言查询时的资源利用和准确性，评估LLM的实际应用潜力。

技术框架：研究采用了一个小型事务数据集，评估了九种不同参数规模的LLM，分析其在执行查询时的能耗和准确性。主要模块包括数据集准备、模型选择、查询执行和结果分析。

关键创新：本研究的创新点在于系统性地比较了多种LLM与传统SQL的资源利用，揭示了LLM在环境友好性方面的不足，提供了新的视角来审视LLM的应用场景。

关键设计：在实验中，选择了九种不同参数规模的LLM，包括Llama2、Mistral等，评估其在执行自然语言查询时的能耗和准确性，采用了标准化的查询任务和评估指标。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，使用LLM进行数据库查询的能耗显著高于传统SQL方法，甚至在小型和量化模型中也存在明显的能耗开销。这一发现强调了LLM在环境友好性方面的不足，建议继续使用传统关系数据库。

🎯 应用场景

该研究的潜在应用领域包括数据库管理、自然语言处理和软件工程等。通过评估LLM在数据库查询中的表现，研究为开发更高效的查询工具提供了理论基础，未来可推动更环保的数据库技术发展。

📄 摘要（原文）

Large Language Models (LLMs) can automate or substitute different types of tasks in the software engineering process. This study evaluates the resource utilization and accuracy of LLM in interpreting and executing natural language queries against traditional SQL within relational database management systems. We empirically examine the resource utilization and accuracy of nine LLMs varying from 7 to 34 Billion parameters, including Llama2 7B, Llama2 13B, Mistral, Mixtral, Optimus-7B, SUS-chat-34B, platypus-yi-34b, NeuralHermes-2.5-Mistral-7B and Starling-LM-7B-alpha, using a small transaction dataset. Our findings indicate that using LLMs for database queries incurs significant energy overhead (even small and quantized models), making it an environmentally unfriendly approach. Therefore, we advise against replacing relational databases with LLMs due to their substantial resource utilization.