Bridging Classical and Quantum Machine Learning: Knowledge Transfer From Classical to Quantum Neural Networks Using Knowledge Distillation

📄 arXiv: 2311.13810v2 📥 PDF

作者: Mohammad Junayed Hasan, M. R. C. Mahdy

分类: quant-ph, cs.AI, cs.LG

发布日期: 2023-11-23 (更新: 2025-03-01)

备注: 26 pages

💡 一句话要点

提出知识蒸馏方法以提升量子神经网络性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 量子神经网络 知识蒸馏 经典卷积神经网络 量子计算 机器学习 数据编码 降维技术 性能优化

📋 核心要点

  1. 现有的量子神经网络在复杂学习任务中表现出潜力，但受限于硬件和噪声问题，训练成本高且效果不稳定。
  2. 本文提出了一种通过知识蒸馏将经典卷积神经网络的知识转移到量子神经网络的方法，以降低量子训练的资源需求。
  3. 实验结果表明，蒸馏后的4量子比特和8量子比特QNN在多个数据集上均实现了与经典网络相当的性能，且参数使用显著减少。

📝 摘要（中文）

量子神经网络（QNNs）利用叠加态和纠缠态在复杂学习任务中展现出超越经典方法的潜力，但受限于硬件约束和噪声条件。本文提出了一种通过知识蒸馏将经典卷积神经网络（CNNs）的知识转移到QNNs的新框架，从而减少对资源密集型量子训练和误差缓解的需求。我们在MNIST、Fashion MNIST和CIFAR10数据集上进行了广泛实验，使用了两个参数化量子电路（PQCs），分别为4和8个量子比特。结果表明，蒸馏自较大经典网络的知识能够持续提高准确性。通过消融研究，我们系统比较了多种降维技术，发现全连接层在QNN推理中保留了最显著的特征，超越了其他下采样方法。此外，我们还考察了多种数据编码方法，确定幅度编码为最佳策略，在所有测试数据集和量子比特配置中均表现出优越的准确性。我们的研究为经典深度学习与新兴量子计算之间的桥梁奠定了基础，推动了更强大且资源高效的量子机器智能模型的发展。

🔬 方法详解

问题定义：本文旨在解决量子神经网络在复杂学习任务中受限于硬件和噪声条件的问题，现有方法在训练时资源消耗高且效果不稳定。

核心思路：通过知识蒸馏将经典卷积神经网络的知识转移到量子神经网络中，从而减少对资源密集型量子训练的需求，提升QNN的性能。

技术框架：整体架构包括知识蒸馏模块、量子编码模块和量子推理模块。首先，通过经典CNN训练得到知识，然后将其蒸馏到QNN中，最后进行量子推理。

关键创新：最重要的创新在于提出了将经典网络知识有效转移至量子网络的框架，显著降低了量子训练的复杂性和资源需求。

关键设计：在实验中，采用了多种降维技术进行数据预处理，发现全连接层在特征保留方面表现最佳。同时，幅度编码被确定为最优的数据编码策略，确保了在所有测试数据集上的准确性提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，蒸馏后的4量子比特和8量子比特QNN在MNIST、Fashion MNIST和CIFAR10数据集上均实现了显著的准确性提升，相较于经典网络，参数使用量减少了，展现出良好的性能竞争力。

🎯 应用场景

该研究的潜在应用领域包括量子计算、机器学习和人工智能等。通过有效的知识转移，量子神经网络能够在资源受限的环境中实现更高效的学习，推动量子机器智能的发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

Quantum neural networks (QNNs), harnessing superposition and entanglement, have shown potential to surpass classical methods in complex learning tasks but remain limited by hardware constraints and noisy conditions. In this work, we present a novel framework for transferring knowledge from classical convolutional neural networks (CNNs) to QNNs via knowledge distillation, thereby reducing the need for resource intensive quantum training and error mitigation. We conduct extensive experiments using two parameterized quantum circuits (PQCs) with 4 and 8 qubits on MNIST, Fashion MNIST, and CIFAR10 datasets. The approach demonstrates consistent accuracy improvements attributed to distilled knowledge from larger classical networks. Through ablation studies, we systematically compare the effect of state of the art dimensionality reduction techniques fully connected layers, center cropping, principal component analysis, and pooling to compress high-dimensional image data prior to quantum encoding. Our findings reveal that fully connected layers retain the most salient features for QNN inference, thereby surpassing other down sampling approaches. Additionally, we examine state of the art data encoding methods (amplitude, angle, and qubit encoding) and identify amplitude encoding as the optimal strategy, yielding superior accuracy across all tested datasets and qubit configurations. Through computational analyses, we show that our distilled 4-qubit and 8-qubit QNNs achieve competitive performance while utilizing significantly fewer parameters than their classical counterparts. Our results establish a promising paradigm for bridging classical deep learning and emerging quantum computing, paving the way for more powerful, resource conscious models in quantum machine intelligence.