Reinforcement Twinning: from digital twins to model-based reinforcement learning
作者: Lorenzo Schena, Pedro Marques, Romain Poletti, Samuel Ahizi, Jan Van den Berghe, Miguel A. Mendez
分类: eess.SY
发布日期: 2023-11-07 (更新: 2024-07-11)
备注: submitted Journal of Computational Science
💡 一句话要点
提出强化双胞胎框架以优化工程系统控制
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 数字双胞胎 强化学习 模型驱动控制 工程优化 样本效率 控制代理
📋 核心要点
- 现有方法在工程系统的控制和优化中面临样本效率低和训练过程不稳定的挑战。
- 提出的强化双胞胎框架通过结合数字双胞胎训练与控制代理的双重路径学习，提升了训练效率和控制性能。
- 实验结果显示，基于伴随的数字双胞胎训练在少量迭代内完成，且控制代理的模型驱动与无模型学习互补，显著提高了性能。
📝 摘要（中文）
数字双胞胎有望通过提供优化、控制和预测维护的新途径来革新工程。本文提出了一种新颖的框架，旨在同时训练工程系统的数字双胞胎及其相关控制代理。该框架结合了基于伴随的数据信息融合和系统识别方法进行双胞胎训练，同时控制代理的训练则融合了基于模型的最优控制与无模型强化学习。通过在三个不同的工程系统和控制任务上进行测试，结果表明该框架在样本效率和学习互补性方面表现出色，为在实际系统中应用奠定了基础。
🔬 方法详解
问题定义：本文旨在解决工程系统控制中的样本效率低和训练不稳定的问题。现有方法往往无法有效整合模型知识与强化学习，导致训练过程缓慢且效果不佳。
核心思路：提出的强化双胞胎框架通过同时训练数字双胞胎和控制代理，利用数字双胞胎作为虚拟环境，促进两者的协同学习，从而提高训练效率和控制性能。
技术框架：该框架包括两个主要模块：数字双胞胎的训练模块，采用基于伴随的数据信息融合和系统识别方法；控制代理的训练模块，结合基于模型的最优控制与无模型强化学习。控制代理在两个独立路径上演化，确保学习过程的多样性和稳定性。
关键创新：最重要的创新在于将数字双胞胎与控制代理的训练相结合，形成了一个双向学习的框架，显著提高了样本效率和训练效果。这种设计与传统方法的单一学习路径形成鲜明对比。
关键设计：在训练过程中，采用了基于伴随的数据信息融合技术，确保数字双胞胎的快速收敛；同时，控制代理的损失函数设计考虑了模型驱动和无模型学习的互补性，优化了学习过程。具体的网络结构和参数设置在实验中进行了详细调优。
🖼️ 关键图片
📊 实验亮点
实验结果显示，基于伴随的数字双胞胎训练在仅几次迭代内完成，表现出极高的样本效率。同时，控制代理的训练在模型驱动与无模型学习的互补作用下，显著提升了控制性能，为实际系统的应用提供了有力支持。
🎯 应用场景
该研究的潜在应用领域包括风能管理、无人机控制和低温储存等工程系统。通过实现高效的控制策略，能够在实际工程中提升系统的性能和可靠性，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Digital twins promise to revolutionize engineering by offering new avenues for optimization, control, and predictive maintenance. We propose a novel framework for simultaneously training the digital twin of an engineering system and an associated control agent. The twin's training combines adjoint-based data assimilation and system identification methods, while the control agent's training merges model-based optimal control with model-free reinforcement learning. The control agent evolves along two independent paths: one driven by model-based optimal control and the other by reinforcement learning. The digital twin serves as a virtual environment for confrontation and indirect interaction, functioning as an "expert demonstrator." The best policy is selected for real-world interaction and cloned to the other path if training stagnates. We call this framework Reinforcement Twinning (RT). The framework is tested on three diverse engineering systems and control tasks: (1) controlling a wind turbine under varying wind speeds, (2) trajectory control of flapping-wing micro air vehicles (FWMAVs) facing wind gusts, and (3) mitigating thermal loads in managing cryogenic storage tanks. These test cases use simplified models with known ground truth closure laws. Results show that the adjoint-based digital twin training is highly sample-efficient, completing within a few iterations. For the control agent training, both model-based and model-free approaches benefit from their complementary learning experiences. The promising results pave the way for implementing the RT framework on real systems.