LaPuda: LLM-Enabled Policy-Based Query Optimizer for Multi-modal Data

📄 arXiv: 2403.13597v3 📥 PDF

作者: Yifan Wang, Haodi Ma, Daisy Zhe Wang

分类: cs.DB, cs.AI, cs.IR

发布日期: 2024-03-20 (更新: 2025-06-21)

备注: Yifan and Haodi contributed equally to the work, accepted by PAKDD 2025

期刊: Advances in Knowledge Discovery and Data Mining. PAKDD 2025

DOI: 10.1007/978-981-96-8180-8_14

💡 一句话要点

提出LaPuda以解决多模态数据查询优化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 查询优化 多模态数据 策略引导 引导成本下降 执行性能 数据检索 机器学习

📋 核心要点

  1. 现有的查询优化器通常依赖于手动创建的规则，设计多模态查询优化器的过程耗时且复杂。
  2. 本文提出LaPuda，通过少量抽象策略引导LLM进行查询优化，显著减少了规则枚举的时间和人力成本。
  3. 实验结果显示，LaPuda生成的优化计划在执行速度上比基线方法提高了1~3倍，表现出色。

📝 摘要（中文）

大型语言模型（LLM）在机器学习和深度学习领域标志着一个重要的时刻。近期，LLM在查询规划方面的能力得到了研究，包括单模态和多模态查询。然而，LLM的查询优化能力尚未被探讨。现有的查询优化器通常依赖于手动创建的规则，设计多模态查询优化器的过程耗时且复杂。本文提出了LaPuda，一个基于LLM和策略的多模态查询优化器，通过少量抽象策略引导LLM进行优化，从而节省了大量时间和人力。此外，本文还提出了引导成本下降（GCD）算法，以防止LLM出现错误或负面优化。实验结果表明，所提方法在大多数情况下优于基线，优化后的计划执行速度比基线高出1~3倍。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在多模态数据查询优化中的应用问题。现有的查询优化方法多为基于规则或基于成本的组合，依赖于大量手动创建的规则，导致设计过程繁琐且效率低下。

核心思路：LaPuda通过引入少量抽象策略来指导LLM进行查询优化，避免了繁琐的规则枚举，从而提高了优化效率。通过这种方式，LLM能够在较少的指导下进行有效的查询计划优化。

技术框架：LaPuda的整体架构包括输入解析、策略应用和优化执行三个主要模块。首先，输入的查询被解析为可处理的格式；然后，抽象策略被应用于指导LLM进行优化；最后，优化后的查询计划被执行并评估其性能。

关键创新：LaPuda的主要创新在于使用少量抽象策略替代传统的规则库，从而显著减少了优化过程中的复杂性和时间成本。此外，引入的引导成本下降（GCD）算法确保了优化过程的正确性，避免了LLM可能出现的错误优化。

关键设计：在设计中，LaPuda采用了GCD算法，该算法通过梯度下降的思想来引导优化过程，确保优化方向的正确性。具体的参数设置和损失函数设计尚未详细披露，可能需要进一步的研究来优化这些细节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LaPuda在大多数情况下优于基线方法，优化后的查询计划执行速度提高了1~3倍。这一显著提升展示了LLM在查询优化中的潜力，尤其是在多模态数据处理场景下的应用效果。

🎯 应用场景

LaPuda在多模态数据查询优化领域具有广泛的应用潜力，尤其适用于需要高效数据检索和处理的场景，如智能搜索引擎、数据分析平台和多媒体信息系统。其高效的优化能力可以显著提升系统的响应速度和用户体验，未来可能在大规模数据处理和实时查询优化中发挥重要作用。

📄 摘要（原文）

Large language model (LLM) has marked a pivotal moment in the field of machine learning and deep learning. Recently its capability for query planning has been investigated, including both single-modal and multi-modal queries. However, there is no work on the query optimization capability of LLM. As a critical (or could even be the most important) step that significantly impacts the execution performance of the query plan, such analysis and attempts should not be missed. From another aspect, existing query optimizers are usually rule-based or rule-based + cost-based, i.e., they are dependent on manually created rules to complete the query plan rewrite/transformation. Given the fact that modern optimizers include hundreds to thousands of rules, designing a multi-modal query optimizer following a similar way is significantly time-consuming since we will have to enumerate as many multi-modal optimization rules as possible, which has not been well addressed today. In this paper, we investigate the query optimization ability of LLM and use LLM to design LaPuda, a novel LLM and Policy based multi-modal query optimizer. Instead of enumerating specific and detailed rules, LaPuda only needs a few abstract policies to guide LLM in the optimization, by which much time and human effort are saved. Furthermore, to prevent LLM from making mistakes or negative optimization, we borrow the idea of gradient descent and propose a guided cost descent (GCD) algorithm to perform the optimization, such that the optimization can be kept in the correct direction. In our evaluation, our methods consistently outperform the baselines in most cases. For example, the optimized plans generated by our methods result in 1~3x higher execution speed than those by the baselines.