Physics-Guided Spatiotemporal State Space Modeling for Lookahead Molten Pool Segmentation in Laser Wire-Feed Welding
作者: Sen Li, Haichao Cui, Changhao Yin, Chendong Shao, Yaqi Wang, Xinhua Tang, Fenggui Lu
分类: cs.CV, cs.AI
发布日期: 2026-06-22
💡 一句话要点
提出物理引导的时空状态空间建模以解决激光焊接中的焊池分割问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)
关键词: 激光焊接 焊池分割 时空建模 物理引导 闭环控制 深度学习 特征提取
📋 核心要点
- 现有的焊池感知方法在实时性和准确性上存在挑战，无法有效应对焊接过程中的延迟。
- 提出的模型通过结合历史图像和电信号，利用物理知识进行焊池的前瞻性分割，提高了分割的准确性。
- 在43个序列的激光焊接数据集上，WeldMamba达到了74.63%的mIoU，显示出显著的性能提升。
📝 摘要（中文）
实时焊池感知对于激光线材焊接中的闭环控制至关重要，但传感、计算和执行器响应之间存在不可避免的延迟。本文提出了一种物理引导的时空状态空间网络，用于前瞻性焊池分割。该模型利用历史同轴灰度图像、焊接过程参数和对齐的电线状态信号，预测三个物理意义区域的未来语义布局：关键孔、焊丝和熔池。通过结合视觉编码器、过程和传感器条件特征归一化、补丁级时态状态空间建模、地平线条件潜在预测、密集未来特征预测和运动感知掩码解码器，进一步约束了预测几何和局部运动。实验结果表明，所提出的WeldMamba在500毫秒的前瞻性下达到了74.63%的mIoU。
🔬 方法详解
问题定义：本文旨在解决激光焊接过程中焊池的实时分割问题。现有方法在面对焊接延迟时，难以准确预测焊池的动态变化。
核心思路：论文提出了一种物理引导的时空状态空间建模方法，通过历史图像和电信号的结合，预测未来的焊池状态，从而提高分割的准确性和实时性。
技术框架：整体架构包括视觉编码器、过程和传感器条件特征归一化、补丁级时态状态空间建模、地平线条件潜在预测、密集未来特征预测和运动感知掩码解码器等模块，形成一个完整的预测流程。
关键创新：最重要的创新在于结合物理知识与时空建模，利用历史数据进行未来状态的预测，与传统方法相比，能够更好地捕捉焊池的动态特征。
关键设计：模型采用了辅助的符号距离函数监督、时间一致性、特征蒸馏和细粒度关键孔损失等技术细节，以进一步约束预测的几何形状和局部运动。具体的损失函数设计和网络结构优化也为模型的性能提升提供了支持。
🖼️ 关键图片
📊 实验亮点
实验结果表明，WeldMamba在43个激光焊接序列上达到了74.63%的mIoU，较现有基线方法有显著提升。消融实验进一步验证了时间历史、补丁级状态空间建模和关键孔运动感知对未来分割的贡献。
🎯 应用场景
该研究在激光焊接领域具有重要的应用价值，能够提升焊接过程的自动化和智能化水平。通过实时焊池分割，能够实现更精确的闭环控制，减少焊接缺陷，提高焊接质量，未来可推广至其他焊接技术和自动化制造领域。
📄 摘要（原文）
Real-time weld-pool perception is critical for closed-loop control in laser wire-feed welding, where sensing, computation, and actuator response introduce unavoidable delay. This paper presents a physics-guided spatiotemporal state space network for lookahead weld-pool segmentation. The model uses historical coaxial grayscale images, welding process parameters, and aligned wire-state electrical signals to predict the future semantic layout of three physically meaningful regions: keyhole, wire, and molten pool. It combines a visual encoder, process- and sensor-conditioned feature normalization, patch-level temporal state space modeling, horizon-conditioned latent prediction, dense future feature prediction, and a motion-aware mask decoder. Auxiliary signed-distance-function supervision, temporal consistency, feature distillation, and fine-grained keyhole losses further constrain the predicted geometry and local motion. Experiments on a 43-sequence laser welding dataset show that the proposed WeldMamba reaches 74.63\% mIoU at a 500 ms lookahead. Ablation studies further show that temporal history, patch-level state space modeling, and keyhole motion awareness are the main contributors to robust future segmentation.