Physics-Distilled Neural Network enabled by Large Language Models for Manufacturing Process-Property Predictive Modeling

📄 arXiv: 2606.11605v1 📥 PDF

作者: Ge Song, Kiarash Naghavi Khanghah, Anandkumar Patel, Rajiv Malhotra, Hongyi Xu

分类: cs.LG, cs.AI

发布日期: 2026-06-10

备注: Under review, Journal of Computing and Information Science in Engineering

💡 一句话要点

提出基于大型语言模型的物理蒸馏神经网络以解决制造过程属性预测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识蒸馏 物理先验 制造过程预测 大型语言模型 实时推理 图掩蔽注意力 鲁棒性

📋 核心要点

  1. 现有方法在制造过程属性预测中面临高实验成本和复杂模型可解释性不足的挑战。
  2. 论文提出了一种结合物理先验知识和知识蒸馏的框架，以提高数据稀缺情况下的预测精度。
  3. 实验表明，该框架在多种制造过程中均实现了高预测准确性，并具备良好的鲁棒性和实时推理能力。

📝 摘要（中文）

在制造过程中，预测过程与属性之间的关系常常面临高实验成本和复杂黑箱模型的可解释性不足等挑战。本文提出了一种新颖的知识蒸馏框架，旨在在数据稀缺的情况下实现高精度预测。该框架通过大型语言模型系统提取的分析物理先验知识，集成到特权教师模型中。我们采用图掩蔽注意力层来捕捉输入变量之间复杂的物理依赖关系。实验结果表明，该框架在五种不同制造过程中均实现了高预测精度，并在不理想的先验情况下仍保持鲁棒性，且学生预测器的推理频率超过6000 Hz，适用于实时边缘部署。

🔬 方法详解

问题定义：本文旨在解决制造过程属性预测中的高实验成本和复杂模型可解释性不足的问题。现有方法往往依赖于大量数据和复杂的黑箱模型，导致预测结果难以解释。

核心思路：论文提出了一种新颖的知识蒸馏框架，通过将从科学文献中提取的物理先验知识整合到教师模型中，来提高在数据稀缺情况下的预测准确性。

技术框架：该框架包括一个特权教师模型和一个轻量级学生预测器。教师模型利用图掩蔽注意力层捕捉输入变量之间的复杂物理依赖关系，随后将知识蒸馏到学生模型中进行推理。

关键创新：最重要的创新点在于将大型语言模型提取的物理先验知识与知识蒸馏相结合，显著提高了模型在数据稀缺场景下的预测能力和可解释性。

关键设计：框架中采用了图掩蔽注意力层来处理输入变量的复杂关系，损失函数设计考虑了模型的稳定性和泛化能力，并确保学生预测器的推理频率超过6000 Hz，以支持实时应用。

📊 实验亮点

实验结果显示，所提出的框架在五种不同制造过程中均实现了高预测准确性，且在小数据集上采用重复K折交叉验证确保了模型的稳定性和泛化能力。最重要的是，即使在物理先验知识不理想的情况下，模型仍能保持鲁棒的预测性能，推理频率超过6000 Hz，适合实时应用。

🎯 应用场景

该研究的潜在应用领域包括制造业的实时监控和过程优化，尤其是在数据稀缺的环境中。通过将理论物理与工业实践相结合，能够有效提升生产效率和产品质量，具有重要的实际价值和未来影响。

📄 摘要（原文）

Predicting process-property relationships in manufacturing is often challenged by high experimental costs and the limited interpretability of complex 'black-box' models. This paper proposes a novel knowledge distillation framework designed to achieve high-accuracy predictions in data-scarce scenarios. The framework integrates analytical physics priors, which are systematically extracted from scientific literature via Large Language Models, into a privileged teacher model. We employ a Graph-Masked Attention layer to capture the complex physical dependencies among input variables showing strict setpoints or a combination of static and high-frequency temporal signatures. This privileged knowledge is distilled into a lightweight student predictor for inference. The feasibility and robustness of the framework are evaluated through a comprehensive experiment across five diverse manufacturing processes. To ensure statistical reliability, given the small dataset sizes, a repeated K-fold cross-validation technique is employed to quantify model stability and generalization. Results indicate that the proposed framework consistently achieves high predictive accuracy across all evaluated domains. Most importantly, the architecture demonstrates significant fault tolerance by maintaining robust predictive performance even in scenarios where LLM-derived analytical priors are suboptimal or incomplete. Furthermore, the student predictor achieves an inference frequency exceeding 6000 Hz, which facilitates real-time edge deployment on standard industrial hardware. This work provides a scalable solution for bridging the gap between theoretical physics and real-time industrial monitoring in data-limited environments.