Multi-Head Attention-Based Feature Extractor Integration with Soft Actor-Critic for Porosity Prediction and Process Parameter Optimization in Additive Manufacturing

📄 arXiv: 2606.20087v1 📥 PDF

作者: Kianoush Aqabakee, Leonardo Stella

分类: cs.AI

发布日期: 2026-06-18

💡 一句话要点

提出基于多头注意力机制的SAC方法以优化增材制造中的孔隙率预测

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 增材制造 强化学习 多头注意力机制 软演员-评论家 孔隙率预测 过程参数优化 智能制造

📋 核心要点

  1. 现有的强化学习方法在增材制造中面临收敛慢和局部最优的问题，限制了其在高精度任务中的应用。
  2. 本研究提出了一种结合多头注意力机制与软演员-评论家算法的连续动作空间方法，以提高智能体的探索能力。
  3. 实验结果表明，该方法在14个回合内实现了322.79的收敛值，显著优于DQN、PPO、TD3和传统SAC等标准方法。

📝 摘要（中文）

增材制造过程的优化需要精确的参数控制，以最小化孔隙等缺陷。传统的强化学习方法在离散动作空间中收敛缓慢且易陷入局部最优，限制了其在高精度制造任务中的有效性。本研究通过采用连续动作空间，并结合多头注意力机制与软演员-评论家（SAC）算法的创新架构，解决了这些限制。注意力机制增强了智能体捕捉低维输入特征微妙变化的能力，从而在价值空间中更有效地平衡探索与利用。我们在激光粉末床熔融中的孔隙率预测和过程参数优化上验证了该方法，相较于标准的强化学习方法（如DQN、PPO、TD3和传统SAC），实现了更快的收敛和更高的最终奖励值。

🔬 方法详解

问题定义：本论文旨在解决增材制造过程中孔隙率预测和过程参数优化的问题。现有的强化学习方法在离散动作空间中表现不佳，收敛速度慢且易陷入局部最优，影响了高精度制造的效果。

核心思路：本研究提出了一种新的架构，结合了多头注意力机制与软演员-评论家（SAC）算法，采用连续动作空间来增强智能体的探索能力，从而更有效地平衡探索与利用。

技术框架：整体架构包括一个多头注意力特征提取器和SAC算法。特征提取器负责捕捉低维输入特征的微小变化，而SAC则用于优化决策过程。整个流程通过不断迭代训练来提高智能体的性能。

关键创新：本研究的主要创新在于将多头注意力机制与SAC算法相结合，显著提升了智能体在复杂价值空间中的表现，尤其是在处理低维特征时的有效性。与传统方法相比，该方法在收敛速度和稳定性上都有显著提升。

关键设计：在设计中，采用了适应性的损失函数以优化学习过程，并对网络结构进行了调整，以适应多头注意力机制的集成。具体参数设置和网络层数经过多次实验验证，以确保最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的方法在14个回合内实现了322.79的收敛值，相较于标准强化学习方法（如DQN、PPO、TD3和传统SAC）有显著提升，且在训练过程中保持了良好的稳定性，最终奖励值也显著高于对比基线。

🎯 应用场景

该研究的潜在应用领域包括增材制造、工业自动化和智能制造等。通过优化过程参数和提高孔隙率预测的准确性，可以显著提升产品质量和生产效率，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Additive manufacturing process optimization requires precise parameter control to minimize defects such as porosity. Traditional reinforcement learning (RL) approaches using discrete action spaces suffer from slow convergence and susceptibility to local optima, limiting their effectiveness for high-precision manufacturing tasks. This study addresses these limitations by employing a continuous action space combined with a novel architecture that integrates a multi-head attention mechanism with the Soft Actor-Critic (SAC) algorithm. The attention-based feature extractor enhances the agent's ability to capture subtle variations in low-dimensional input features, enabling more effective exploration-exploitation balance for navigating value spaces with local minima. We validate our approach on porosity prediction and process parameter optimization in laser powder bed fusion, demonstrating faster convergence and higher final reward values compared to standard RL methods including DQN, PPO, TD3, and vanilla SAC. The proposed methodology achieves a convergence value of 322.79 within 14 episodes, outperforming existing approaches while maintaining stability throughout training.