Learning to Optimize Capacity Planning in Semiconductor Manufacturing

📄 arXiv: 2509.15767v1 📥 PDF

作者: Philipp Andelfinger, Jieyi Bi, Qiuyu Zhu, Jianan Zhou, Bo Zhang, Fei Fei Zhang, Chew Wye Chan, Boon Ping Gan, Wentong Cai, Jie Zhang

分类: cs.LG

发布日期: 2025-09-19

💡 一句话要点

提出基于异构图神经网络的深度强化学习模型，优化半导体制造中的产能规划。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 产能规划 半导体制造 深度强化学习 异构图神经网络 智能制造

📋 核心要点

  1. 现有半导体产能规划依赖启发式规则，难以应对复杂流程交互导致的瓶颈。
  2. 提出基于异构图神经网络的深度强化学习模型，直接捕捉机器和流程间的关系，实现主动决策。
  3. 实验表明，该策略在最大测试场景中，将吞吐量和周期时间分别提高了约1.8%。

📝 摘要（中文）

在制造业中，产能规划是根据可变需求分配生产资源的过程。目前半导体制造业的行业实践通常应用启发式规则来确定行动的优先级，例如考虑即将到来的机器和配方分配的未来变更列表。然而，虽然启发式方法具有可解释性，但它们无法轻易地解释沿流程的复杂交互，这些交互可能逐渐导致瓶颈的形成。本文提出了一种基于神经网络的机器级别产能规划模型，该模型使用深度强化学习进行训练。通过使用异构图神经网络表示策略，该模型直接捕获机器和处理步骤之间的各种关系，从而实现主动决策。我们描述了为实现足够的可扩展性以应对大量可能的机器级别操作而采取的若干措施。我们的评估结果涵盖了英特尔的小规模Minifab模型，以及使用流行的SMT2020测试平台的初步实验。在最大的测试场景中，我们训练的策略将吞吐量和周期时间分别提高了约1.8%。

🔬 方法详解

问题定义：半导体制造中的产能规划问题，目标是在满足可变需求的前提下，优化生产资源的分配。现有方法主要依赖启发式规则，这些规则虽然易于理解，但难以捕捉复杂流程中机器之间的相互影响，导致瓶颈的产生，从而影响整体的生产效率。

核心思路：论文的核心思路是利用深度强化学习（DRL）来学习一个策略，该策略能够根据当前生产状态，智能地分配机器资源，从而优化产能规划。为了更好地表示半导体制造流程中机器和工序之间的复杂关系，论文采用异构图神经网络（Heterogeneous Graph Neural Network, HGNN）来表示策略。

技术框架：整体框架包含一个基于HGNN的策略网络和一个强化学习训练循环。策略网络接收当前生产状态作为输入，输出每个机器应该采取的行动。强化学习训练循环使用环境（例如，半导体制造仿真器）来评估策略的性能，并使用奖励信号来更新策略网络的参数。具体来说，状态信息包括机器的利用率、队列长度、以及即将到来的生产任务等。行动空间包括各种机器级别的操作，例如调整机器的优先级、分配不同的生产任务等。

关键创新：该论文的关键创新在于使用异构图神经网络来表示策略。与传统的神经网络相比，HGNN能够更好地捕捉半导体制造流程中机器和工序之间的复杂关系。此外，论文还采取了多种措施来提高模型的可扩展性，以应对大规模的半导体制造场景。这些措施包括使用分层策略网络、以及使用经验回放等技术。

关键设计：策略网络使用多层HGNN来提取节点特征，然后使用一个全连接层将节点特征映射到行动空间。损失函数使用标准的策略梯度损失函数，并添加了一个熵正则化项，以鼓励探索。训练过程使用Adam优化器，学习率设置为0.001。为了提高训练的稳定性，论文还使用了目标网络和裁剪梯度等技术。

📊 实验亮点

实验结果表明，该模型在Intel的Minifab模型和SMT2020测试平台上均取得了显著的性能提升。在最大的测试场景中，与现有启发式方法相比，该模型将吞吐量和周期时间分别提高了约1.8%。这些结果表明，该模型具有很强的实际应用价值。

🎯 应用场景

该研究成果可应用于半导体制造、智能工厂等领域，通过优化产能规划，提高生产效率、降低生产成本。该方法能够根据实际生产情况动态调整资源分配，减少瓶颈，提升整体生产线的效率。未来，该技术有望推广到其他复杂制造流程的优化中，实现更智能化的生产管理。

📄 摘要（原文）

In manufacturing, capacity planning is the process of allocating production resources in accordance with variable demand. The current industry practice in semiconductor manufacturing typically applies heuristic rules to prioritize actions, such as future change lists that account for incoming machine and recipe dedications. However, while offering interpretability, heuristics cannot easily account for the complex interactions along the process flow that can gradually lead to the formation of bottlenecks. Here, we present a neural network-based model for capacity planning on the level of individual machines, trained using deep reinforcement learning. By representing the policy using a heterogeneous graph neural network, the model directly captures the diverse relationships among machines and processing steps, allowing for proactive decision-making. We describe several measures taken to achieve sufficient scalability to tackle the vast space of possible machine-level actions. Our evaluation results cover Intel's small-scale Minifab model and preliminary experiments using the popular SMT2020 testbed. In the largest tested scenario, our trained policy increases throughput and decreases cycle time by about 1.8% each.