Different Teachers, Different Capabilities: Sub-1B On-Device Distillation for Structured Text Enrichment
作者: Vinay Kumar Chaganti
分类: cs.AI, cs.CL
发布日期: 2026-07-09
备注: 12 pages, 5 figures. has a same-size non-reasoning-teacher control, a three-judge LLM-as-a-judge panel with a negative control, full-source faithfulness grading, and a per-field routing analysis
💡 一句话要点
提出基于蒸馏的模型以提升结构化文本提取效率
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 结构化文本提取 模型蒸馏 设备端模型 推理模型 摘要生成 信息提取 机器学习
📋 核心要点
- 现有的高容量结构化提取模型在处理每个项目时存在显著的延迟，影响了效率。
- 论文提出了一种将大模型蒸馏为小型设备端模型的方法，以降低延迟并保持输出质量。
- 实验表明，蒸馏后的学生模型在摘要质量上显著提升，且在多个基线测试中表现优于原始模型。
📝 摘要（中文）
高容量的结构化提取在每个项目上都需要大模型的高延迟，因此将任务蒸馏到小型的设备端模型中是一个有吸引力的选择：在时间和成本上都能实现可比的输出。本文测量了蒸馏的实际效果，针对每个子任务进行评估。将一个8B的推理教师模型蒸馏为一个0.6B的学生模型，并引入了两个教师控制。实验结果显示，学生模型在摘要质量上恢复了58%的基准与教师模型之间的差距，并在多个基线中表现优异。由于没有单一模型在所有领域中表现最佳，研究提供了一个针对设备端增强的领域路由图。
🔬 方法详解
问题定义：本文旨在解决高容量结构化提取模型在每个项目上造成的高延迟问题。现有方法在处理速度和成本上存在明显不足，限制了其在实际应用中的有效性。
核心思路：论文的核心思路是通过蒸馏技术，将一个大型推理教师模型转化为一个小型的设备端学生模型，从而在保持输出质量的同时显著降低处理时间。这样的设计旨在提高模型的实用性和效率。
技术框架：整体架构包括一个8B的推理教师模型和一个0.6B的学生模型，实验中还引入了同规模的非推理教师模型和一个更大的管理管道。通过对每个模型的输出进行评估，比较其在摘要生成和标签分类上的表现。
关键创新：最重要的技术创新在于通过不同类型的教师模型进行蒸馏，发现推理教师模型在写作质量上具有优势，而管理管道则在标签多样性上表现更佳。这种多样化的教师选择为模型的性能提升提供了新的视角。
关键设计：在实验中，学生模型的训练采用了QLoRA技术，并通过三次随机种子进行训练。评估过程中，使用了盲评和无参考评分的方法，以确保结果的客观性和可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，蒸馏后的学生模型在摘要质量上恢复了58%的基准与教师模型之间的差距，且在与约束解码和少量提示的基线比较中，分别提升了16.8和4.9的分数，展现出显著的性能优势。
🎯 应用场景
该研究的潜在应用领域包括新闻摘要生成、信息提取和智能助手等。通过在设备端实现高效的文本处理，能够显著提升用户体验，降低计算资源消耗，具有广泛的实际价值和未来影响。
📄 摘要（原文）
High-volume structured extraction pays a large model's latency on every item, so distilling the task into a small on-device model is attractive: comparable output at a fraction of the time and cost. We measure what that distillation actually delivers, per sub-task. Each news article is mapped to one JSON object with a short summary and five categorical labels. We distill an 8B reasoning teacher (deepseek-r1:8b) into a 0.6B student (Qwen3-0.6B; QLoRA, three seeds), and add two teacher controls: a same-size non-reasoning teacher and a larger managed pipeline. A blinded, reference-free, three-judge panel scores every arm against the full article, alongside two non-distillation baselines, few-shot prompting and constrained decoding. The student runs at about 0.8 s per article against the teacher's 39 s, and recovers 58% of the base-to-teacher gap on summary quality, beating its primary baseline (constrained decoding) by +16.8 points and few-shot prompting by a secondary +4.9. A same-size non-reasoning teacher trains a student no better than the untuned base, so the summary gain follows from the teacher's reasoning nature rather than its scale. Capabilities then split by teacher: the reasoning teacher transfers writing quality and the managed pipeline transfers label diversity, while a same-size instruction teacher's students stay more grounded on the 22 short, thin-source articles in the 93-item test set (74 versus 55 faithful), where the reasoning-lineage student fabricates. That grounding difference is a consistent ordering rather than a significant aggregate effect, and the subgroup is small, so we report it as a direction. Because no single engine wins every field, the deliverable is a per-field routing map for on-device enrichment.