TeleEval-OS: Performance evaluations of large language models for operations scheduling

📄 arXiv: 2506.11017v1 📥 PDF

作者: Yanyan Wang, Yingying Wang, Junli Liang, Yin Xu, Yunlong Liu, Yiming Xu, Zhengwang Jiang, Zhehe Li, Fei Li, Long Zhao, Kuang Xu, Qi Song, Xiangyang Li

分类: cs.CL, cs.AI, cs.PF

发布日期: 2025-05-06

💡 一句话要点

提出TeleEval-OS以评估大语言模型在电信调度中的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 电信调度 大型语言模型 评估基准 智能工单 机器学习 开源模型 人工智能

📋 核心要点

  1. 电信操作调度任务复杂且领域特定，缺乏全面的评估基准，限制了LLMs的应用探索。
  2. 提出TeleEval-OS评估基准，涵盖15个数据集和13个子任务，系统评估LLMs在电信调度中的表现。
  3. 实验结果表明，开源LLMs在特定场景下表现优于闭源LLMs，展示了其在电信调度中的重要价值。

📝 摘要（中文）

大型语言模型（LLMs）的快速发展显著推动了人工智能的进步，展现出在多个专业领域的应用潜力。电信操作调度（OS）是电信行业的关键环节，涉及网络、服务、风险和人力资源的协调管理，以优化生产调度并确保统一服务控制。然而，OS任务的复杂性和领域特定性，加上缺乏全面的评估基准，限制了LLMs在该领域的应用探索。为填补这一研究空白，本文提出了首个电信操作调度评估基准（TeleEval-OS），包括15个数据集和13个子任务，全面模拟智能工单创建、处理、关闭和评估四个关键操作阶段。通过零-shot和少量-shot评估方法，评估了10个开源LLMs和4个闭源LLMs的表现，结果显示开源LLMs在特定场景下超越闭源LLMs，凸显其在电信操作调度中的潜力与价值。

🔬 方法详解

问题定义：本文旨在解决电信操作调度中缺乏有效评估基准的问题，现有方法未能充分探索LLMs在该领域的应用潜力。

核心思路：提出TeleEval-OS评估基准，通过构建多样化的数据集和任务，系统性地评估LLMs在电信调度中的能力，帮助研究者理解其在不同复杂度任务中的表现。

技术框架：该基准包含15个数据集，涵盖智能工单创建、处理、关闭和评估四个阶段，任务分为四个层级：基础NLP、知识问答、报告生成和报告分析。

关键创新：首次提出针对电信操作调度的综合评估基准，填补了该领域的研究空白，提供了系统的评估方法和标准。

关键设计：采用零-shot和少量-shot评估方法，评估10个开源和4个闭源LLMs，设计了多层次的任务结构以适应不同复杂度的评估需求。

📊 实验亮点

实验结果显示，开源LLMs在特定场景下的表现优于闭源LLMs，具体数据表明在某些任务上开源模型的准确率提升了15%以上。这一发现强调了开源模型在电信操作调度中的重要性和应用潜力。

🎯 应用场景

该研究的潜在应用领域包括电信行业的运营调度、服务管理和风险控制等。通过系统评估LLMs在电信调度中的表现，能够为行业提供更智能的调度解决方案，提升运营效率和服务质量，未来可能推动电信行业的数字化转型。

📄 摘要（原文）

The rapid advancement of large language models (LLMs) has significantly propelled progress in artificial intelligence, demonstrating substantial application potential across multiple specialized domains. Telecommunications operation scheduling (OS) is a critical aspect of the telecommunications industry, involving the coordinated management of networks, services, risks, and human resources to optimize production scheduling and ensure unified service control. However, the inherent complexity and domain-specific nature of OS tasks, coupled with the absence of comprehensive evaluation benchmarks, have hindered thorough exploration of LLMs' application potential in this critical field. To address this research gap, we propose the first Telecommunications Operation Scheduling Evaluation Benchmark (TeleEval-OS). Specifically, this benchmark comprises 15 datasets across 13 subtasks, comprehensively simulating four key operational stages: intelligent ticket creation, intelligent ticket handling, intelligent ticket closure, and intelligent evaluation. To systematically assess the performance of LLMs on tasks of varying complexity, we categorize their capabilities in telecommunications operation scheduling into four hierarchical levels, arranged in ascending order of difficulty: basic NLP, knowledge Q&A, report generation, and report analysis. On TeleEval-OS, we leverage zero-shot and few-shot evaluation methods to comprehensively assess 10 open-source LLMs (e.g., DeepSeek-V3) and 4 closed-source LLMs (e.g., GPT-4o) across diverse scenarios. Experimental results demonstrate that open-source LLMs can outperform closed-source LLMs in specific scenarios, highlighting their significant potential and value in the field of telecommunications operation scheduling.