FactoryLLM: A Safe and Open-Source AI Playground for Evaluating LLMs in Smart Factories

📄 arXiv: 2606.14119v1 📥 PDF

作者: Yash Pulse, Yong-Bin Kang, Abhik Banerjee, Abdur Forkan, Prem Prakash Jayaraman

分类: cs.AI

发布日期: 2026-06-12

备注: 6 pages, 3 figures, IEEE INDIN 2026

💡 一句话要点

提出FactoryLLM以解决智能工厂中的故障诊断问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 智能工厂 故障诊断 大语言模型 开源平台 文档推理 机器学习 数据安全

📋 核心要点

  1. 现有的故障诊断方法面临信息分散的问题，导致智能工厂中的故障恢复变得复杂。
  2. FactoryLLM提供了一个安全的开源平台，允许用户评估不同的LLM模型在跨机器文档推理中的表现。
  3. 实验结果表明，FactoryLLM在处理维护查询时表现优异，所有模型的基础分数均超过0.88。

📝 摘要（中文）

在智能工厂中，故障诊断和恢复面临挑战，因为关键的信息分散在多个机器的手册中。本文提出了FactoryLLM，一个安全且开源的AI平台，旨在通过分析制造过程中的多台机器文档来评估不同的基于大语言模型（LLM）的检索增强生成（RAG）模型。FactoryLLM允许用户配置LLM，并通过RAGAS和NVIDIA的LLM-as-a-Judge指标进行双重评估。通过案例研究，FactoryLLM在跨机器文档推理中表现出色，所有模型的基础分数均超过0.88，且代码和文档已公开供社区使用。

🔬 方法详解

问题定义：本文旨在解决智能工厂中故障诊断时信息分散的问题，现有方法难以有效整合多台机器的文档信息，导致诊断效率低下。

核心思路：FactoryLLM通过构建一个安全的开源平台，允许用户在不泄露敏感数据的情况下评估不同的LLM模型，提供了一个可控的实验环境。

技术框架：FactoryLLM的整体架构包括用户配置LLM的模块、文档分析模块以及双重评估模块，后者使用RAGAS和NVIDIA的LLM-as-a-Judge指标进行性能评估。

关键创新：FactoryLLM的主要创新在于其安全性和开源特性，使得用户能够在本地或使用开源LLM进行实验，而无需担心数据泄露，这与现有方法的封闭性形成鲜明对比。

关键设计：在设计中，FactoryLLM允许用户自定义LLM的参数设置，并通过对比不同模型在维护查询上的表现，确保了评估的全面性和准确性。实验中使用了约600页的跨机器文档，确保了数据的丰富性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，FactoryLLM在跨机器文档推理方面表现优异，所有评估的LLM模型在30个维护查询中均获得了超过0.88的基础分数，表明其在实际应用中的有效性和可靠性。

🎯 应用场景

FactoryLLM可广泛应用于智能制造领域，特别是在故障诊断和维护管理中。通过提供一个安全的实验平台，企业可以利用LLM技术提升故障处理效率，降低停机时间，进而提高生产力。未来，FactoryLLM还可能扩展到其他行业的文档分析和智能决策支持中。

📄 摘要（原文）

Fault diagnostics and recovery in smart factories is challenging because critical information is dispersed across manuals of multiple machines which are interconnected through the manufacturing process. Large Language Models (LLMs) can provide a promising approach. In this paper, we propose FactoryLLM, a safe and open-source AI playground designed for evaluating different LLM-based retrieval-augmented generation (RAG) models by analysing documents from multiple machines across the manufacturing process. FactoryLLM enables the user to configure the LLM, and assess performance when reasoning over multiple documents, through a dual evaluation setup using both RAGAS and NVIDIA's LLM-as-a-Judge metrics. FactoryLLM is safe because it allows users to run local or open-source LLMs without sharing sensitive industrial data, providing a controlled environment for experimentation. We demonstrate the efficacy of FactoryLLM through a case study which involves an Autonomous Intelligent Vehicle and its Mobile Planner software, evaluating three LLMs across 30 maintenance queries derived from approximately 600 pages of cross-machine documentation. The results suggest that FactoryLLM is effective in cross-machine document reasoning: every model achieved a groundedness score above 0.88. The full code and documentation for community to test FactoryLLM with their manufacturing specific scenarios are publicly available.