Learning with SASQuaTCh: a Novel Variational Quantum Transformer Architecture with Kernel-Based Self-Attention

📄 arXiv: 2403.14753v2 📥 PDF

作者: Ethan N. Evans, Matthew Cook, Zachary P. Bradshaw, Margarite L. LaBorde

分类: quant-ph, cs.LG

发布日期: 2024-03-21 (更新: 2025-02-05)

备注: 12 pages, 8 figures

💡 一句话要点

提出SASQuaTCh以解决传统变换器模型的参数复杂性问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 量子计算 自注意力机制 变换器模型 图像分类 机器学习 参数复杂性 核基算子学习

📋 核心要点

  1. 现有的变换器模型在参数数量和计算复杂性上面临严重挑战，限制了其在实际应用中的发展。
  2. 本文提出的SASQuaTCh架构通过量子电路实现自注意力机制，显著降低了参数复杂性和运行时间。
  3. 实验表明，使用9个量子比特和少量参数，SASQuaTCh在手写数字图像分类任务中表现出高准确率。

📝 摘要（中文）

近年来，先进机器学习模型的规模迅速增长，导致参数数量呈指数级增长，训练时间和内存需求成为限制其发展的主要问题。本文提出了一种名为自注意序列量子变换器通道（SASQuaTCh）的变分量子电路架构，模拟变换器网络的自注意力操作，显著提高了参数复杂性和运行时间复杂性。该方法利用核基算子学习的最新成果，通过简单的门操作和多维量子傅里叶变换来表示视觉变换器网络的深层结构。实验结果表明，使用仅9个量子比特和少量参数，我们能够高效地嵌入并分类手写数字的灰度图像。

🔬 方法详解

问题定义：本文旨在解决传统变换器模型在参数复杂性和计算效率上的不足，尤其是在处理大规模数据时的训练时间和内存需求问题。

核心思路：SASQuaTCh架构通过量子电路实现自注意力机制，利用量子计算的特性来降低参数数量，同时保持模型的表达能力。

技术框架：该架构包括量子比特网络、简单的量子门操作以及多维量子傅里叶变换，整体流程通过量子电路的设计来实现深层特征提取和分类。

关键创新：SASQuaTCh的主要创新在于将量子计算与自注意力机制结合，显著提高了参数复杂性和运行时间的效率，与传统变换器模型相比具有本质区别。

关键设计：在设计中，使用了9个量子比特和少量参数，采用特定的损失函数来优化分类性能，确保在图像分类任务中实现高准确率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，SASQuaTCh使用仅9个量子比特和少量参数，成功地对手写数字的灰度图像进行了高效嵌入和分类，展现出高准确率，显著优于传统变换器模型的性能。

🎯 应用场景

SASQuaTCh架构具有广泛的潜在应用，尤其是在图像分类、自然语言处理和物理系统动态预测等领域。其高效的参数利用和计算能力可能推动量子计算在实际应用中的进一步发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

The recent exploding growth in size of state-of-the-art machine learning models highlights a well-known issue where exponential parameter growth, which has grown to trillions as in the case of the Generative Pre-trained Transformer (GPT), leads to training time and memory requirements which limit their advancement in the near term. The predominant models use the so-called transformer network and have a large field of applicability, including predicting text and images, classification, and even predicting solutions to the dynamics of physical systems. Here we present a variational quantum circuit architecture named Self-Attention Sequential Quantum Transformer Channel (SASQuaTCh), which builds networks of qubits that perform analogous operations of the transformer network, namely the keystone self-attention operation, and leads to an exponential improvement in parameter complexity and run-time complexity over its classical counterpart. Our approach leverages recent insights from kernel-based operator learning in the context of predicting spatiotemporal systems to represent deep layers of a vision transformer network using simple gate operations and a set of multi-dimensional quantum Fourier transforms. To validate our approach, we consider image classification tasks in simulation and with hardware, where with only 9 qubits and a handful of parameters we are able to simultaneously embed and classify a grayscale image of handwritten digits with high accuracy.