TeleEval-OS: Performance evaluations of large language models for operations scheduling

📄 arXiv: 2506.11017v1 📥 PDF

作者: Yanyan Wang, Yingying Wang, Junli Liang, Yin Xu, Yunlong Liu, Yiming Xu, Zhengwang Jiang, Zhehe Li, Fei Li, Long Zhao, Kuang Xu, Qi Song, Xiangyang Li

分类: cs.CL, cs.AI, cs.PF

发布日期: 2025-05-06

💡 一句话要点

TeleEval-OS：首个面向电信运营调度的LLM性能评估基准

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 电信运营调度 评估基准 TeleEval-OS 智能工单 开源LLM 零样本学习

📋 核心要点

  1. 电信运营调度任务复杂且专业性强，缺乏专门的LLM评估基准，限制了LLM在该领域的应用探索。
  2. TeleEval-OS基准模拟了电信运营调度的四个关键阶段，并根据任务难度划分了LLM的四个能力层级。
  3. 实验结果表明，开源LLM在特定电信运营调度场景下表现优于闭源LLM，证明了其应用潜力。

📝 摘要（中文）

大型语言模型（LLM）的快速发展显著推动了人工智能的进步，并在多个专业领域展现出巨大的应用潜力。电信运营调度（OS）是电信行业的一个关键方面，涉及网络、服务、风险和人力资源的协调管理，以优化生产调度并确保统一的服务控制。然而，OS任务固有的复杂性和领域特定性，以及缺乏全面的评估基准，阻碍了对LLM在该关键领域应用潜力的深入探索。为了解决这一研究空白，我们提出了首个电信运营调度评估基准（TeleEval-OS）。具体而言，该基准包含15个数据集，涵盖13个子任务，全面模拟了四个关键运营阶段：智能工单创建、智能工单处理、智能工单关闭和智能评估。为了系统地评估LLM在不同复杂程度任务上的性能，我们将它们在电信运营调度中的能力分为四个层级，难度递增：基础NLP、知识问答、报告生成和报告分析。在TeleEval-OS上，我们利用零样本和少样本评估方法，全面评估了10个开源LLM（例如，DeepSeek-V3）和4个闭源LLM（例如，GPT-4o）在不同场景下的表现。实验结果表明，开源LLM在特定场景下可以优于闭源LLM，突显了它们在电信运营调度领域中的巨大潜力和价值。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在电信运营调度（OS）领域缺乏系统性评估的问题。现有方法缺乏针对该领域特点的基准数据集，难以全面评估LLM在不同任务上的性能，阻碍了LLM在该领域的应用探索。现有方法无法有效衡量LLM在电信运营调度中不同能力层级的表现，例如基础NLP能力、知识问答能力、报告生成能力和报告分析能力。

核心思路：论文的核心思路是构建一个专门针对电信运营调度的评估基准TeleEval-OS，该基准包含多个数据集和子任务，覆盖了电信运营调度的关键流程。通过对LLM在不同任务和能力层级上的表现进行评估，可以更全面地了解LLM在该领域的应用潜力。通过比较不同LLM的性能，可以为电信运营调度任务选择合适的LLM模型。

技术框架：TeleEval-OS基准包含15个数据集，涵盖13个子任务，模拟了电信运营调度的四个关键运营阶段：智能工单创建、智能工单处理、智能工单关闭和智能评估。论文将LLM在电信运营调度中的能力分为四个层级：基础NLP、知识问答、报告生成和报告分析。论文采用零样本和少样本评估方法，评估了10个开源LLM和4个闭源LLM在TeleEval-OS上的性能。

关键创新：TeleEval-OS是首个专门针对电信运营调度的LLM评估基准，填补了该领域的空白。该基准覆盖了电信运营调度的关键流程，并根据任务难度划分了LLM的能力层级，可以更全面地评估LLM在该领域的应用潜力。

关键设计：TeleEval-OS基准中的数据集涵盖了不同类型的电信运营调度任务，例如故障诊断、资源分配、风险评估等。论文采用了多种评估指标，例如准确率、召回率、F1值等，以全面评估LLM的性能。论文还对LLM的生成结果进行了人工评估，以评估其质量和实用性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，开源LLM在特定电信运营调度场景下表现优于闭源LLM，例如DeepSeek-V3在某些任务上超过了GPT-4o。这表明开源LLM在电信运营调度领域具有巨大的潜力，并且可以通过进一步的优化和训练，达到甚至超过闭源LLM的性能。

🎯 应用场景

该研究成果可应用于电信行业的智能化运营调度，例如智能工单处理、故障诊断、资源优化等。通过利用LLM的能力，可以提高运营效率、降低运营成本、提升服务质量。该基准的发布将促进LLM在电信行业的应用和发展，并为相关研究提供参考。

📄 摘要（原文）

The rapid advancement of large language models (LLMs) has significantly propelled progress in artificial intelligence, demonstrating substantial application potential across multiple specialized domains. Telecommunications operation scheduling (OS) is a critical aspect of the telecommunications industry, involving the coordinated management of networks, services, risks, and human resources to optimize production scheduling and ensure unified service control. However, the inherent complexity and domain-specific nature of OS tasks, coupled with the absence of comprehensive evaluation benchmarks, have hindered thorough exploration of LLMs' application potential in this critical field. To address this research gap, we propose the first Telecommunications Operation Scheduling Evaluation Benchmark (TeleEval-OS). Specifically, this benchmark comprises 15 datasets across 13 subtasks, comprehensively simulating four key operational stages: intelligent ticket creation, intelligent ticket handling, intelligent ticket closure, and intelligent evaluation. To systematically assess the performance of LLMs on tasks of varying complexity, we categorize their capabilities in telecommunications operation scheduling into four hierarchical levels, arranged in ascending order of difficulty: basic NLP, knowledge Q&A, report generation, and report analysis. On TeleEval-OS, we leverage zero-shot and few-shot evaluation methods to comprehensively assess 10 open-source LLMs (e.g., DeepSeek-V3) and 4 closed-source LLMs (e.g., GPT-4o) across diverse scenarios. Experimental results demonstrate that open-source LLMs can outperform closed-source LLMs in specific scenarios, highlighting their significant potential and value in the field of telecommunications operation scheduling.