On the Comparison of Reinforcement Learning and Adaptive Control for Linear Systems under Packet Loss and Uncertainty

📄 arXiv: 2606.32003v1 📥 PDF

作者: Moh Kamalul Wafi

分类: eess.SY

发布日期: 2026-06-30

备注: Extended and revised version of the paper published in the Proceedings of the SIAM Conference on Control and Its Applications (CT23). doi.org/10.1137/1.9781611977745

💡 一句话要点

比较自适应量化控制与深度确定性策略梯度在不确定线性系统中的应用

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自适应控制 强化学习 不确定性 线性系统 通信丢包 鲁棒性 动态切换

📋 核心要点

  1. 现有方法在面对不确定性和通信丢包时，往往难以保持系统的稳定性和鲁棒性。
  2. 本文提出的AQC利用确认消息来应对丢包问题，而DDPG则依赖于名义模型进行训练，展现出不同的控制策略。
  3. 实验结果显示，尽管DDPG在训练环境中表现优越，但AQC在动态切换和不确定性条件下更具鲁棒性。

📝 摘要（中文）

本文对自适应量化控制（AQC）与深度确定性策略梯度（DDPG）强化学习在不确定线性系统中的表现进行了比较研究，特别是在输入量化和通信通道丢包的情况下。研究考虑了在操作过程中从一个不稳定的名义系统动态切换到更不稳定的系统。AQC通过确认消息来补偿丢包，适用于未知系统动态，而DDPG控制器则在没有确认消息的情况下使用名义系统模型进行训练。数值结果表明，DDPG控制器在其训练环境中实现了更快的瞬态响应和更好的阻尼性能。然而，在模型不确定性、丢包和动态切换的情况下，AQC展现出更强的鲁棒性，得益于其严格的Lyapunov稳定性保证。这些结果突显了数据驱动性能与基于模型的鲁棒性之间的权衡，并为强化学习和自适应控制在网络不确定系统中的适用性提供了见解。

🔬 方法详解

问题定义：本文旨在解决在不确定线性系统中，面对输入量化和通信丢包时的控制问题。现有方法如DDPG在这些条件下的鲁棒性不足，难以保证系统稳定性。

核心思路：论文提出的AQC通过使用确认消息来补偿丢包，适应未知系统动态，而DDPG则依赖于名义系统模型进行训练，二者在控制策略上存在显著差异。

技术框架：整体架构包括AQC和DDPG两种控制策略的设计与实现。AQC通过反馈机制来处理丢包，而DDPG则通过深度学习模型进行策略优化。

关键创新：AQC的设计创新在于其利用确认消息来增强系统的鲁棒性，确保在动态切换和不确定性条件下的稳定性，这是与传统方法的本质区别。

关键设计：AQC的关键设计包括确认消息的发送与接收机制，以及Lyapunov稳定性分析；DDPG则采用了深度神经网络结构和特定的损失函数来优化策略。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DDPG控制器在训练环境中实现了更快的瞬态响应和更好的阻尼性能，但在面对模型不确定性和动态切换时，AQC展现出更强的鲁棒性，确保了系统的稳定性。这一发现强调了数据驱动方法与基于模型方法之间的权衡。

🎯 应用场景

该研究的潜在应用领域包括自动控制系统、无人驾驶汽车、智能制造等需要在不确定环境中保持稳定性的场景。通过结合自适应控制与强化学习的方法，可以提升系统在动态变化和通信不稳定条件下的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

This paper presents a comparative study between Adaptive Quantized Control (AQC) and Deep Deterministic Policy Gradient (DDPG) reinforcement learning for uncertain linear systems with input quantization over communication channels subject to packet loss. The considered setting also includes dynamic switching from a nominal unstable system to a more unstable one during operation. The AQC is designed for unknown system dynamics using acknowledgment messages to compensate for packet losses, whereas the DDPG controller is trained using the nominal system model without acknowledgment messages. Numerical results show that the DDPG controller achieves faster transient responses and improved damping within its training environment. However, under model uncertainty, packet loss, and dynamic switching, the AQC consistently demonstrates superior robustness owing to its rigorous Lyapunov stability guarantees. These results highlight the trade-off between data-driven performance and model-based robustness, and provide insight into the applicability of reinforcement learning and adaptive control for networked uncertain systems.