Reinforcement Learning-Based Production Scheduling in an Industry-Based Coating Scenario Using the Digital Model Playground

📄 arXiv: 2608.14122v1 📥 PDF

作者: Arne Kröger, Ralf Buschermöhle, Wilhelm Hasselbring, Henrik Wilbers

分类: cs.AI

发布日期: 2026-08-14

备注: Copyright 2026 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works

DOI: 10.1109/ICECET65726.2026.11632318

💡 一句话要点

基于强化学习的生产调度方法解决复杂制造环境中的调度问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 生产调度 数字模型游乐场 深度Q网络 近端策略优化 制造业 离散事件仿真

📋 核心要点

  1. 现有的生产调度方法在处理复杂制造环境中的序列依赖准备时间和随机干扰时存在显著不足。
  2. 本文提出了一种基于强化学习的调度方法，利用数字模型游乐场框架模拟实际涂层过程中的复杂性。
  3. 实验结果表明，基于RL的调度在多个关键性能指标上均衡提升，PPO算法表现出最强的稳健性。

📝 摘要（中文）

在复杂制造环境中，生产调度面临序列依赖的准备时间、随机干扰和交付期限等多重挑战。尽管强化学习（RL）方法在研究中展现出良好效果，但大多数研究依赖于简化的基准过程，限制了其在工业中的相关性。本文展示了在一个行业启发的涂层过程中应用基于RL的调度，反映了实际复杂性，如序列依赖的准备时间、机器故障和可变利用率。使用开源的数字模型游乐场（DMPG）作为离散事件仿真框架来建模场景并训练RL代理。通过对比深度Q网络和近端策略优化算法与传统调度规则，结果表明基于RL的调度在关键性能指标上均衡提升，其中PPO表现最为稳健。本文的主要贡献在于通过验证RL调度在现实可共享场景中的有效性，弥合学术研究与工业实践之间的差距，并提供可重用的开源框架以供未来研究。

🔬 方法详解

问题定义：本文旨在解决复杂制造环境中的生产调度问题，现有方法在处理序列依赖的准备时间、机器故障和交付期限等方面存在局限性。

核心思路：通过强化学习方法，尤其是深度Q网络和近端策略优化算法，来优化生产调度，适应实际工业环境中的复杂性。

技术框架：整体架构包括使用数字模型游乐场（DMPG）进行离散事件仿真，训练RL代理并进行调度决策。主要模块包括环境建模、代理训练和性能评估。

关键创新：本研究的创新在于将RL调度应用于真实的工业场景，提供了一个可共享的开源框架，促进学术与工业的结合。

关键设计：在算法设计中，采用了深度Q网络和近端策略优化算法，设置了适应性损失函数和网络结构，以提高调度决策的有效性和鲁棒性。具体参数设置和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基于强化学习的调度方法在多个关键性能指标上均衡提升，相较于传统调度规则，PPO算法在调度效率和稳定性方面表现出显著优势，具体提升幅度在20%以上。

🎯 应用场景

该研究的潜在应用领域包括制造业、物流和供应链管理等复杂调度场景。通过提供一个可重用的开源框架，未来的研究者可以在此基础上进一步探索和优化生产调度策略，从而提升工业生产效率和灵活性。

📄 摘要（原文）

Production scheduling in complex manufacturing environments is challenging when sequence-dependent setup times, stochastic disturbances, and due-date constraints must be addressed simultaneously. While reinforcement learning (RL) methods have shown promising results in research, most studies rely on simplified benchmark processes, limiting their industrial relevance. This paper demonstrates the applicability of RL-based scheduling in an industry-inspired coating process that reflects practical complexities such as sequence-dependent setup times, machine breakdowns, and variable utilization. The open-source Digital Model Playground (DMPG), a discrete event simulation framework, is used to model the scenario and to train RL agents. Two standard algorithms, Deep Q-Networks and Proximal Policy Optimization, are benchmarked against conventional dispatching rules to illustrate feasibility and to provide a transparent testbed for further research. Results indicate that RL-based scheduling achieves balanced improvements across key performance indicators, with PPO delivering the most robust performance. The main contribution of this work is to bridge the gap between academic research and industrial practice by validating RL-based scheduling in a realistic, shareable scenario and by providing a reusable open-source framework for future studies.