An Empirical Study on Large Language Models in Accuracy and Robustness under Chinese Industrial Scenarios

📄 arXiv: 2402.01723v1 📥 PDF

作者: Zongjie Li, Wenying Qiu, Pingchuan Ma, Yichen Li, You Li, Sijia He, Baozheng Jiang, Shuai Wang, Weixi Gu

分类: cs.CL, cs.AI

发布日期: 2024-01-27

💡 一句话要点

研究大型语言模型在中国工业场景下的准确性与鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 工业应用 准确性评估 鲁棒性测试 本地化策略 变形测试 智能决策 中文工业场景

📋 核心要点

  1. 当前大型语言模型在中国工业场景中的准确性和鲁棒性研究不足，导致实际应用效果不佳。
  2. 本文通过手动收集行业特定问题和设计变形测试框架，系统评估LLMs在工业生产中的表现。
  3. 研究结果显示，所有评估的LLMs准确性均低于0.6，且本地LLMs整体表现不如全球LLMs。

📝 摘要（中文）

近年来，大型语言模型（LLMs）在多个领域迅速发展。为了更好地服务中国用户，许多商业厂商采用本地化策略，专门训练和提供适合中国用户的LLMs。然而，LLMs在工业场景下的准确性和鲁棒性尚未得到充分研究。本文通过对1200个行业特定问题的手动收集，评估了LLMs的准确性，并设计了一个包含四个工业特定稳定性类别的变形测试框架，共计13631个问题变体，以评估LLMs的鲁棒性。我们评估了9个中国厂商开发的LLMs和4个全球厂商的LLMs，发现当前LLMs在中国工业环境中的准确性较低，鲁棒性在不同工业领域和能力上存在显著差异。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在中国工业场景下的准确性和鲁棒性不足的问题。现有方法未能充分评估LLMs在特定行业应用中的表现，导致其实际应用效果不理想。

核心思路：通过手动收集1200个行业特定问题，并设计一个包含四个稳定性类别的变形测试框架，评估LLMs的准确性与鲁棒性。这样的设计能够全面反映LLMs在实际工业场景中的表现。

技术框架：研究分为两个主要模块：第一模块为准确性评估，通过收集的1200个问题进行测试；第二模块为鲁棒性评估，利用设计的变形测试框架，涵盖四个稳定性类别和八种能力，总计13631个问题变体。

关键创新：本文的创新在于系统性地评估LLMs在中国工业场景中的表现，尤其是通过变形测试框架对鲁棒性进行深入分析，与现有方法相比，提供了更全面的评估视角。

关键设计：在鲁棒性评估中，设计了四个工业特定稳定性类别，涵盖逻辑相关变体和理解工业术语的问题，确保评估的全面性和针对性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所有评估的LLMs在中国工业场景中的准确性均低于0.6，且本地LLMs在鲁棒性方面整体表现不如全球LLMs。特别是在逻辑相关变体下，全球LLMs表现出更高的鲁棒性，而先进的本地LLMs在理解工业术语方面表现更佳。

🎯 应用场景

该研究的潜在应用领域包括制造业、物流、能源等多个工业领域。通过提升LLMs的准确性和鲁棒性，可以更好地支持企业在生产过程中的智能决策，推动工业自动化和智能化的发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

Recent years have witnessed the rapid development of large language models (LLMs) in various domains. To better serve the large number of Chinese users, many commercial vendors in China have adopted localization strategies, training and providing local LLMs specifically customized for Chinese users. Furthermore, looking ahead, one of the key future applications of LLMs will be practical deployment in industrial production by enterprises and users in those sectors. However, the accuracy and robustness of LLMs in industrial scenarios have not been well studied. In this paper, we present a comprehensive empirical study on the accuracy and robustness of LLMs in the context of the Chinese industrial production area. We manually collected 1,200 domain-specific problems from 8 different industrial sectors to evaluate LLM accuracy. Furthermore, we designed a metamorphic testing framework containing four industrial-specific stability categories with eight abilities, totaling 13,631 questions with variants to evaluate LLM robustness. In total, we evaluated 9 different LLMs developed by Chinese vendors, as well as four different LLMs developed by global vendors. Our major findings include: (1) Current LLMs exhibit low accuracy in Chinese industrial contexts, with all LLMs scoring less than 0.6. (2) The robustness scores vary across industrial sectors, and local LLMs overall perform worse than global ones. (3) LLM robustness differs significantly across abilities. Global LLMs are more robust under logical-related variants, while advanced local LLMs perform better on problems related to understanding Chinese industrial terminology. Our study results provide valuable guidance for understanding and promoting the industrial domain capabilities of LLMs from both development and industrial enterprise perspectives. The results further motivate possible research directions and tooling support.