Building Telecom Language Models with RSOD: Domain Data, Specialist Post-Training, Memory-Conscious Distillation, and Networking Evaluation
作者: Anil Srirangapatna Nagesh, Nitin Gupta, Anuj Taneja, Vivek Singh, Shane Eleniak, Theo Zhao, Moulidharan N, Shashank Keshetty
分类: cs.AI, cs.CL, cs.LG
发布日期: 2026-10-20
💡 一句话要点
提出RSOD框架以构建电信语言模型，提升网络知识与专业行为的结合
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 电信语言模型 路由专业蒸馏 合成训练数据 深度学习 知识转移
📋 核心要点
- 电信语言模型面临的挑战是如何有效结合广泛的网络知识与专业行为，现有方法往往难以实现这一目标。
- 论文提出的RSOD框架通过合成训练数据和专业教师模型的结合，提供了一种新的训练方法，旨在提升模型的专业性和实用性。
- 实验结果表明，所提出的模型在多个评估指标上均优于基线模型，显示出显著的性能提升，尤其是在路由条件下的评估中。
📝 摘要（中文）
电信语言模型需结合广泛的网络知识与专业行为，涵盖路由、宽带服务、接入技术及操作诊断，同时保持可部署性。本文提出了一种端到端框架，通过结构化网络分类法和专家图构建源基础的合成训练数据，生成了212,559条路由训练记录，训练了六个冻结的专业LoRA教师，并通过路由专业在线蒸馏（RSOD）将其行为整合为一个可部署的学生适配器。实验结果显示，所提出的模型在多个评估维度上表现出色，验证了其有效性和可行性。
🔬 方法详解
问题定义：本文旨在解决电信语言模型在结合广泛网络知识与专业行为方面的不足，现有方法难以有效整合多种专业知识，导致模型性能受限。
核心思路：提出的RSOD框架通过构建源基础的合成训练数据，并结合多个专业LoRA教师模型，旨在实现专业知识的有效整合与模型的高效部署。
技术框架：整体架构包括数据生成模块、专业教师模型训练模块和学生模型蒸馏模块。数据生成模块利用结构化网络分类法和专家图生成合成数据，教师模型通过共享的预训练骨干网络进行训练，最后通过RSOD将教师模型的知识转移到学生模型中。
关键创新：最重要的创新在于路由专业在线蒸馏（RSOD）方法，该方法通过教师强制生成精确的原生标记序列，并仅更新学生LoRA，从而实现高效的知识转移。
关键设计：在训练过程中，采用了共享的冻结输出头来重建紧凑的教师隐藏状态，并通过控制重建验证，确保模型的输出与教师模型保持一致，最终实现了高达100%的顶级一致性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的RSOD学生模型在路由条件下的评估中达到了21.7112/25的微观得分，相较于基线模型提升了显著的性能，且在多个评估维度上表现出色，验证了模型的有效性和可部署性。
🎯 应用场景
该研究的潜在应用领域包括电信行业的智能客服、网络故障诊断及自动化运维等。通过提升电信语言模型的专业性和实用性，可以有效提高网络服务的质量和效率，推动电信行业的智能化发展。
📄 摘要（原文）
Telecom language models must combine broad networking knowledge with specialist behavior across routing, broadband services, access technologies, and operational diagnostics while remaining practical to deploy as a single model. We present an end-to-end framework that builds source-grounded synthetic training data from structured networking taxonomies and expert graphs, materializes 212,559 routed training records across fourteen networking routes, trains six frozen specialist LoRA teachers over one shared continued-pretrained backbone, and consolidates their behavior into one deployable student adapter using Routed Specialist On-Policy Distillation (RSOD). In RSOD, the committed student generates each trajectory, the route-assigned specialist teacher-forces the exact native token sequence, compact teacher hidden states are reconstructed through the shared frozen output head, and only the student LoRA is updated. A controlled reconstruction validation shows mean absolute logit error of 7.26 x 10^-6 with 100% top-1 agreement between native and reconstructed teacher logits. On four RTX 6000 Ada GPUs, the completed 2,000-step run produced 16,000 trajectories with zero observed student-version or token- ID mismatches. Under the primary route-conditioned evaluation over 2,850 held-out questions, the raw Meta-Llama-3.1-8B-Instruct model scores 12.8661/25 micro (13.0172/25 macro), the combined routed six-teacher system scores 21.7641/25 micro, and the consolidated RSOD student, released as Llama-CalixCLM v1, reaches 21.7112/25 micro (21.8006/25 macro) on the same five dimension LLM-judge rubric. Under a separate neutral deployment-like prompt, the same student reaches 20.0028/25 micro (20.0778/25 macro). The consolidated student remains within 0.0529 micro-score points of the combined routed-teacher system while retaining a numerically validated and auditable train-serve execution path.