Temporal Property-driven Design Space Exploration with Reinforcement Learning for Cyber-Physical Systems
作者: Tagir Fabarisov, Maxime Cordy
分类: eess.SY
发布日期: 2026-08-24
备注: Accepted manuscript for IECON 2026 - 52nd Annual Conference of the IEEE Industrial Electronics Society, Doha, Qatar, 18-21 October 2026
💡 一句话要点
提出基于强化学习的时序属性驱动设计空间探索方法以优化网络物理系统
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 网络物理系统 强化学习 设计空间探索 时序属性 仿真评估 功能属性监控 优化算法
📋 核心要点
- 现有方法在面对大规模设计空间时，因重复随机执行导致全面探索变得不切实际。
- 论文提出了一种基于强化学习的工作流，通过选择子系统替代方案来优化CPS设计，结合时序属性监控进行评估。
- 实验表明，经过26个回合的强化学习训练，所需仿真次数显著少于传统优化方法，提升了设计效率。
📝 摘要（中文）
可配置的网络物理系统（CPS）设计空间探索需要可执行评估，以应对设计选择对时序、故障传播、恢复行为和时序属性满足度的影响。由于重复的随机执行使得对大设计空间的全面探索变得不切实际，本文提出了一种基于强化学习的时序属性驱动CPS设计工作流。在设计阶段，强化学习代理选择子系统替代方案以组装候选系统模型。该模型通过仿真进行评估，在线时序属性监控器观察运行时跟踪并生成功能属性违反指示器。这些指示器与评估的非功能性指标结合，用于计算后续候选选择的奖励。该工作流在一个甲烷敏感的矿用泵CPS上进行了评估，实验结果显示，经过26个回合（对应130次可执行仿真），强化学习引导的搜索识别了最高奖励设计，所需仿真次数少于基于代理的贝叶斯优化和种群遗传算法基线。
🔬 方法详解
问题定义：本文旨在解决可配置网络物理系统（CPS）设计空间探索中的可执行评估问题，现有方法在面对大规模设计空间时，因重复随机执行导致全面探索变得不切实际。
核心思路：论文提出了一种基于强化学习的时序属性驱动设计工作流，通过选择子系统替代方案来组装候选系统模型，并通过仿真评估其性能，结合时序属性监控来优化设计选择。
技术框架：整体架构包括设计阶段的强化学习代理、仿真评估模块和时序属性监控器。代理根据当前设计选择生成候选模型，仿真模块进行性能评估，监控器实时观察并反馈功能属性违反情况。
关键创新：最重要的技术创新在于将强化学习与时序属性监控相结合，形成了一种新的设计空间探索方法，相较于传统方法，能够在更少的仿真次数下找到高奖励设计。
关键设计：在设计过程中，强化学习代理的奖励计算结合了功能属性违反指示器和非功能性指标，如预算、可恢复性和持续合规性，确保了设计选择的全面性与有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，经过26个回合的强化学习训练，所识别的最高奖励设计所需的仿真次数显著少于基于代理的贝叶斯优化和种群遗传算法基线，表明该方法在设计效率上具有明显优势。
🎯 应用场景
该研究的潜在应用领域包括智能制造、自动化控制和安全监测等网络物理系统。通过优化设计过程，可以提高系统的可靠性和效率，降低开发成本，具有重要的实际价值和未来影响。
📄 摘要（原文）
Design-space exploration of configurable Cyber-Physical Systems (CPS) requires executable evaluation when design choices affect timing, fault propagation, recovery behavior, and temporal-property satisfaction. Repeated stochastic executions make exhaustive exploration impractical for large design spaces. This paper presents a temporal-property-driven CPS design workflow using Reinforcement Learning (RL). At design time, the RL agent selects subsystem alternatives to assemble a candidate system model. The model is then evaluated through simulation, during which online temporal-property monitors observe runtime traces and produce functional-property violation indicators. These indicators are combined with evaluated non-functional terms for budget, recoverability, sustained compliance, and operational use to calculate the reward used for subsequent candidate selection. The workflow is evaluated on a methane-sensitive mine-pump CPS. The corresponding executable case-study model is provided as additional contribution. RL-guided search identifies the highest-reward design observed in the experiments after 26 episodes (corresponds to 130 executable simulations). These designs were reached with fewer simulations than surrogate-guided Bayesian Optimization and population-based Genetic Algorithm baselines under the same executable model and reward formulation. Ablation study results indicate that value-based feedback and reuse of previous simulation traces contribute to this reduction.