Student-Guided Teacher Distillation for Efficient LLM Task Routing: Positioning Against Jev-Style System-1 Classifiers

📄 arXiv: 2610.02516v1 📥 PDF

作者: Haifeng Wu, Srinivasan Manoharan, Jian Wan, Fangbo Tu, Junhua Zhao, Xin Chen

分类: cs.LG, cs.AI

发布日期: 2026-10-01

备注: 13 pages, 2 figures, 1 table

💡 一句话要点

提出学生引导教师蒸馏方法以提高LLM任务路由效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 学生引导蒸馏 零样本分类 任务路由 ModernBERT DeBERTa-v3 高效计算 自然语言处理

📋 核心要点

  1. 现有的零样本分类器在处理大型候选集时效率低下，导致计算成本随分类法规模线性增长。
  2. 提出了一种学生引导教师蒸馏方法，通过紧凑的ModernBERT分类器和较大的DeBERTa-v3分类器组合，提高任务路由的效率。
  3. 最佳学生模型在评估集上达到了77.5%的教师一致性，且top-k候选集保留了大部分决策相关信息。

📝 摘要（中文）

零样本分类器在将用户请求路由到专门的LLM任务中非常有用，但对大型候选集进行评分的成本较高。本文研究了一种学生引导教师蒸馏管道，针对60个LLM任务类别的固定分类法，使用紧凑的ModernBERT分类器在一次前向传播中预测完整的类别分布，并检索小的top-k候选集。随后，较大的DeBERTa-v3零样本NLI分类器仅对这些候选进行重新排序。实验结果表明，最佳学生检查点在200个样本的评估集上达到了77.5%的教师一致性，初步覆盖率测量显示Coverage@16为91-100%。

🔬 方法详解

问题定义：本文旨在解决零样本分类器在大型候选集上评分的高计算成本问题，现有方法在处理复杂分类法时效率低下。

核心思路：通过学生引导教师蒸馏的方法，使用紧凑的ModernBERT分类器预测完整类别分布，并通过DeBERTa-v3分类器对小的top-k候选集进行重新排序，从而提高效率。

技术框架：整体架构包括两个主要模块：首先是ModernBERT分类器用于生成候选集，其次是DeBERTa-v3分类器用于对候选集进行精细排序，形成一个迭代的蒸馏过程。

关键创新：与现有的通用嵌入检索或聚类方法不同，本文的方法是针对特定分类法进行端到端训练，且同一模型用于生产流量，显著提高了任务路由的效率。

关键设计：在训练过程中，使用了特定的损失函数来优化教师标签的生成，并强调了top-k教师分数不应被视为完整的60类软目标，以避免引入系统性偏差。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，最佳学生检查点在200个样本的评估集上达到了77.5%的教师一致性，初步覆盖率测量显示Coverage@16为91-100%，表明top-k候选集有效保留了教师的决策相关信息。

🎯 应用场景

该研究的潜在应用领域包括智能客服、自动化任务分配和自然语言处理系统的优化。通过提高LLM任务路由的效率，可以显著降低计算资源的消耗，提升用户体验，未来可能在大规模应用中发挥重要作用。

📄 摘要（原文）

Zero-shot classifiers are useful for routing user requests to specialized LLM tasks, but scoring every request against a large candidate set is expensive: a zero-shot NLI classifier must evaluate one premise-hypothesis pair per label, so cost scales linearly with taxonomy size. We study a student-guided teacher distillation pipeline for a fixed taxonomy of 60 LLM task categories: a compact ModernBERT classifier predicts the full category distribution in one forward pass and retrieves a small top-k candidate set, and a larger DeBERTa-v3 zero-shot NLI classifier reranks only those candidates rather than all 60 labels; the resulting teacher labels iteratively improve the student, which produces sharper candidates for the next round. Unlike generic embedding retrieval or clustering-derived shortlists used in extreme multi-label classification, our candidate generator is trained end-to-end on the target taxonomy and is the same model serving production traffic, distinguishing it from LLM-routing work that routes between candidate models, and from concurrent System-1 encoder-classifier proposals (e.g. TypeSafe AI's Jev and the open-source Laya project) whose training methodology is undocumented or RL-based. Our best student checkpoint reaches 77.5% teacher agreement on a 200-example evaluation set, and preliminary coverage measurements show Coverage@16 of 91-100%, suggesting top-k sets retain most of the teacher's decision-relevant information. We further show truncated top-k teacher scores should not be treated as full 60-class soft targets for KL distillation: zeroing untruncated classes destroys the dark knowledge soft-label distillation depends on, introducing systematic bias rather than a harmless sparse approximation. A complete evaluation, including coverage at multiple k on a held-out set, an embedding-retrieval baseline, and a larger human-reviewed test set, remains in progress.