Staged Hybridisation for Visual Quantum Reinforcement Learning via Knowledge Distillation

📄 arXiv: 2606.30520v1 📥 PDF

作者: Javier Lazaro, Juan-Ignacio Vazquez, Pablo Garcia-Bringas

分类: quant-ph, cs.LG

发布日期: 2026-06-29

💡 一句话要点

提出分阶段混合化策略以解决视觉量子强化学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 量子强化学习 知识蒸馏 视觉控制 变分量子电路 深度学习 策略蒸馏 量子计算 机器学习

📋 核心要点

  1. 现有的量子强化学习方法在高维视觉环境中面临训练困难，尤其是在优化不稳定和电路受限的情况下。
  2. 本文提出通过知识蒸馏的分阶段混合化策略，先训练经典视觉教师，再将其策略行为蒸馏到量子兼容的学生模型中。
  3. 实验结果显示，分阶段KD使得VQC头部在复杂任务中表现出接近教师的性能，尤其是角度编码的VQC头部。

📝 摘要（中文）

视觉环境对量子强化学习（QRL）提出了严峻挑战：高维观测、不稳定的强化学习优化以及受限的变分量子电路（VQC）难以共同训练。本文研究了知识蒸馏（KD）作为视觉QRL的分阶段混合化策略。我们首先训练一个经典视觉教师，冻结其编码器作为特征接口，并将教师的策略行为蒸馏到紧凑的下游头部。这些头部可以是经典的或基于VQC的，使得小型量子兼容的学生能够在相同的冻结表示下进行评估。我们在CartPole Pixels和Acrobot Pixels上评估了该管道，结果表明分阶段KD使得浅层VQC头部能够在直接基于像素的训练困难的情况下获得非平凡的视觉控制行为。

🔬 方法详解

问题定义：本文旨在解决视觉量子强化学习中的训练困难，特别是在高维观测和不稳定优化的情况下，现有方法难以有效训练。

核心思路：论文提出的核心思路是通过知识蒸馏，将经典视觉教师的策略行为转移到量子兼容的学生模型中，从而避免直接从像素进行端到端训练。

技术框架：整体架构包括两个主要阶段：首先训练一个经典视觉教师并冻结其编码器，然后将教师的策略行为蒸馏到紧凑的下游头部，这些头部可以是经典的或基于VQC的。

关键创新：最重要的技术创新在于将知识蒸馏与分阶段混合化相结合，使得小型量子兼容政策能够在冻结的特征表示下进行训练，这与传统的端到端强化学习方法有本质区别。

关键设计：在设计上，关键参数包括教师模型的结构、蒸馏损失函数的选择，以及VQC头部的编码方式（如角度编码和幅度编码），这些设计影响了模型的性能和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，分阶段KD使得角度编码的VQC头部在CartPole和Acrobot任务中接近教师的性能，而幅度编码的头部则在紧凑性上达到极限，但表现出更大的脆弱性和预算敏感性。

🎯 应用场景

该研究的潜在应用领域包括量子计算与人工智能的结合，特别是在需要高效决策和控制的复杂视觉任务中。通过提供一种新的训练策略，未来可以在量子计算资源有限的情况下，开发出更为高效的量子强化学习算法，推动量子智能体的实际应用。

📄 摘要（原文）

Visual environments are a demanding setting for quantum reinforcement learning (QRL): high-dimensional observations, unstable RL optimisation, and constrained variational quantum circuits (VQCs) are difficult to train jointly. This paper studies knowledge distillation (KD) as a staged hybridisation strategy for visual QRL. Instead of training a hybrid visual agent end-to-end from pixels, we first train a classical visual teacher, freeze its encoder as a feature interface, and distil the teacher's policy behaviour into compact downstream heads. These heads can be classical or VQC-based, enabling small quantum-compatible students to be evaluated under the same frozen representation as compact classical controls. We evaluate the pipeline on CartPole Pixels and Acrobot Pixels. The results show that staged KD enables shallow VQC heads to acquire non-trivial visual-control behaviour in settings where direct pixel-based training would be substantially more difficult. Angle-encoded VQC heads retain near-teacher performance, while amplitude-encoded heads push compactness to an extreme regime, at the cost of greater fragility, stronger budget sensitivity, and higher simulation time. Overall, staged KD reframes visual QRL as a compact-head learning problem, opening a practical route for training small quantum-compatible policies outside the standard end-to-end RL loop.