The Duck's Brain: Training and Inference of Neural Networks in Modern Database Engines

📄 arXiv: 2312.17355v1 📥 PDF

作者: Maximilian E. Schüle, Thomas Neumann, Alfons Kemper

分类: cs.DB, cs.LG

发布日期: 2023-12-28

备注: 14 pages, 13 figures

💡 一句话要点

在数据库引擎中训练和推理神经网络：关系代数与SQL实现

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 神经网络 数据库系统 SQL 关系代数 机器学习 模型训练 模型推理

📋 核心要点

  1. 传统数据库系统在数据处理上高效，但关系模型限制了机器学习算法在SQL中的直接应用。
  2. 该论文提出将数据转换为关系表示，从而在SQL环境中实现神经网络的训练和推理。
  3. 实验评估表明，现代数据库系统在矩阵代数运算上具有潜力，但专用数组类型性能更优。

📝 摘要（中文）

尽管数据库系统在数据访问和操作方面表现出色，但其关系模型阻碍了数据科学家在SQL中编写机器学习算法。然而，本文认为现代数据库系统在关系代数表达的机器学习算法方面表现良好。为了克服关系模型的障碍，本文展示了如何将数据转换为关系表示，以便在SQL中训练神经网络：首先，描述了在SQL-92中用于数据转换、模型训练和推理的构建块，以及使用扩展数组数据类型的对应部分。然后，将使用数组数据类型进行模型训练和推理的实现与仅使用SQL-92中的关系表示的实现进行比较。在运行时间和内存消耗方面的评估证明了现代数据库系统适用于矩阵代数，尽管专门的数组数据类型比关系表示中的矩阵表现更好。

🔬 方法详解

问题定义：论文旨在解决数据科学家难以在传统数据库系统的关系模型中直接实现和训练机器学习模型的问题。现有方法的痛点在于SQL语言对复杂数学运算，特别是矩阵运算的支持不足，导致难以表达和优化神经网络算法。

核心思路：论文的核心思路是将神经网络的训练和推理过程分解为关系代数运算，并利用SQL语言来实现这些运算。通过将数据转换为关系表示，可以在数据库系统中执行矩阵乘法、加法等操作，从而实现神经网络的训练和推理。

技术框架：整体框架包括三个主要阶段：数据转换阶段，将原始数据转换为关系表示；模型训练阶段，利用SQL语句实现神经网络的训练过程，包括前向传播、反向传播和参数更新；模型推理阶段，使用训练好的模型对新数据进行预测。论文同时探讨了使用SQL-92标准和扩展数组数据类型两种实现方式。

关键创新：最重要的技术创新点在于证明了在关系数据库中进行神经网络训练和推理的可行性。通过将神经网络操作映射到关系代数，使得可以在SQL环境中利用数据库系统的优化器和执行引擎来加速机器学习算法。

关键设计：论文详细描述了如何使用SQL语句实现矩阵乘法、加法等基本运算。对于SQL-92实现，需要将矩阵表示为关系表，并使用JOIN操作来实现矩阵乘法。对于扩展数组数据类型实现，可以直接利用数据库系统提供的数组操作函数。论文还比较了两种实现方式在性能和内存消耗方面的差异。

📊 实验亮点

实验结果表明，使用现代数据库系统进行矩阵代数运算是可行的。虽然使用专用数组数据类型的实现比关系表示的矩阵表现更好，但SQL-92的实现也展示了潜力。论文在运行时间和内存消耗方面进行了详细的评估，为在数据库系统中实现机器学习算法提供了有价值的参考。

🎯 应用场景

该研究成果可应用于将机器学习模型集成到现有数据库系统中，无需额外的数据迁移和平台切换。这对于需要实时分析大量结构化数据的场景，如金融风控、客户关系管理等，具有重要价值。未来，可以进一步优化SQL实现的神经网络算法，提高其性能和可扩展性。

📄 摘要（原文）

Although database systems perform well in data access and manipulation, their relational model hinders data scientists from formulating machine learning algorithms in SQL. Nevertheless, we argue that modern database systems perform well for machine learning algorithms expressed in relational algebra. To overcome the barrier of the relational model, this paper shows how to transform data into a relational representation for training neural networks in SQL: We first describe building blocks for data transformation, model training and inference in SQL-92 and their counterparts using an extended array data type. Then, we compare the implementation for model training and inference using array data types to the one using a relational representation in SQL-92 only. The evaluation in terms of runtime and memory consumption proves the suitability of modern database systems for matrix algebra, although specialised array data types perform better than matrices in relational representation.