Model-Free Reinforcement Learning Control for Resilient Cyber-Physical Systems
作者: Hugo O. Garcés, Alejandro J. Rojas, Bernardo A. Hernández, Andrés Escalona, Jonathan M. Palma, Md. Rezwan Parvez, Bhushan Gopaluni, Sirish L. Shah
分类: eess.SY, cs.LG
发布日期: 2026-06-17
备注: Accepted to the 23rd IFAC World Congress 2026
💡 一句话要点
提出无模型强化学习控制以增强网络物理系统的抗攻击能力
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 无模型强化学习 网络物理系统 抗攻击能力 Lyapunov奖励 深度学习 控制系统 智能电网 自动驾驶
📋 核心要点
- 现有方法在面对网络攻击时，控制系统的鲁棒性和准确性存在不足，尤其是在非线性系统中。
- 本文提出了一种无模型强化学习控制方法，通过设计不同类型的奖励机制来提升系统的抗攻击能力。
- 实验结果显示，Lyapunov奖励在低跟踪误差下表现最佳，而RL-PID控制器训练时间显著减少，提升了系统的响应速度。
📝 摘要（中文）
本文比较了无模型控制器在非线性系统中应对网络攻击（包括虚假数据注入和拒绝服务攻击）的性能。分析了四种强化学习奖励类型在准确性、成本和抗攻击能力方面的表现。结果表明，Lyapunov奖励在低跟踪误差下提供了最佳的抗攻击能力。指数模式在适度训练条件下也提供了良好的权衡。渐进和线性奖励收敛较快，但鲁棒性较差。RL-MPC在稳态下表现出强大的抗攻击能力，但需要更长的训练时间；而RL-PID控制器则训练时间显著更短。近端策略优化在KPI方差上显著优于深度确定性策略梯度。该研究强调了精心设计的强化学习奖励如何提升性能和抗网络威胁的能力。
🔬 方法详解
问题定义：本文旨在解决网络物理系统在遭受网络攻击时的控制鲁棒性问题。现有方法在应对虚假数据注入和拒绝服务攻击时表现不佳，导致系统性能下降。
核心思路：论文提出通过设计不同类型的强化学习奖励机制来增强控制系统的抗攻击能力，特别是针对非线性系统的挑战。通过优化奖励函数，提升系统在攻击下的稳定性和响应能力。
技术框架：研究采用无模型强化学习框架，主要包括四种奖励机制的比较：Lyapunov奖励、指数奖励、渐进奖励和线性奖励。通过强化学习算法（如近端策略优化和深度确定性策略梯度）进行训练和评估。
关键创新：最重要的创新在于通过不同的奖励设计来提升系统的抗攻击能力，尤其是Lyapunov奖励在低跟踪误差下的表现，显著优于传统方法。
关键设计：在奖励机制中，Lyapunov奖励设计为基于系统状态的稳定性评估，指数奖励则考虑了训练过程中的适应性。网络结构采用深度神经网络，损失函数设计为综合考虑跟踪误差和奖励信号的加权和。训练过程中，RL-PID控制器的参数设置经过优化，以减少训练时间。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Lyapunov奖励在低跟踪误差下提供了最佳的抗攻击能力，且RL-PID控制器的训练时间显著减少，提升了响应速度。近端策略优化在KPI方差上优于深度确定性策略梯度，显示出更好的稳定性和性能。
🎯 应用场景
该研究的潜在应用领域包括智能电网、自动驾驶汽车和工业自动化等网络物理系统。这些领域的系统在面对网络攻击时，需要具备更强的鲁棒性和自适应能力，以确保安全和稳定运行。未来，该方法有望在实际应用中提升系统的安全性和可靠性。
📄 摘要（原文）
This paper compares the performance of model-free controllers on a nonlinear system under cyberattacks, including false data injection and denial-of-service attacks. Four RL reward types are analyzed for accuracy, cost, and resilience. Results show that the Lyapunov reward offers the best resilience with low tracking error. Exponential mode also provides good trade-offs with acceptable resilience under moderate training conditions. Progressive and linear rewards converge faster but are less robust. RL-MPCs show strong steady-state resilience but require longer training times; RL-PID controllers are faster with significantly less training time. Proximal Policy Optimization outperforms Deep Deterministic Policy Gradient with a significant reduction in KPI variance. This study serves to highlight how well-designed RL rewards can improve performance and resilience against cyber threats.