Universal Textual Teaching for LLMs

📄 arXiv: 2610.12114v1 📥 PDF

作者: Zhanyi Lu, Huan Wang

分类: cs.AI

发布日期: 2026-10-08

备注: Webpage: https://alexlu99.github.io/UTT/

💡 一句话要点

提出通用文本教学框架以解决知识蒸馏局限性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识蒸馏 大语言模型 文本化教学 多角色互动 模型泛化

📋 核心要点

  1. 现有的知识蒸馏方法通常需要训练学生模型的参数，导致知识难以在不同模型间重用。
  2. 本文提出的通用文本教学（UTT）框架通过文本化的方式蒸馏知识，避免了对学生参数的更新。
  3. 在数学和代码生成任务中，UTT显著提高了学生模型的准确率，验证了其有效性和通用性。

📝 摘要（中文）

知识蒸馏（KD）旨在将强大的教师模型的知识转移到较弱的学生模型中，但大多数方法需要训练学生参数，从而将蒸馏知识绑定到特定架构和检查点。这种隐式表示难以解释或在模型间重用，限制了KD在仅提供API或训练成本高的模型中的应用。本文研究了大语言模型（LLMs）的知识转移，提出了通用文本教学（UTT）框架，该框架通过文本化、可解释和可重用的自然语言工件（称为Primer）来蒸馏教师与学生之间的知识差距。UTT通过配对评估识别代表性差距案例，并通过多角色互动迭代更新Primer。实验证明，UTT在数学和代码生成任务上显著提高了学生的准确率，优于现有的提示工程和基于参数的KD方法。

🔬 方法详解

问题定义：本文旨在解决现有知识蒸馏方法对学生模型参数的依赖性，导致知识难以在不同模型间重用的问题。现有方法通常将知识绑定到特定的模型架构和检查点，限制了其在API或训练成本高的模型中的应用。

核心思路：论文提出的通用文本教学（UTT）框架通过生成可解释的文本工件（Primer）来蒸馏知识，避免了对学生模型参数的更新。UTT通过多角色互动，逐步识别和填补教师与学生之间的知识差距。

技术框架：UTT的整体流程包括四个主要角色：学生执行任务并生成反馈，提示者将反馈转化为教学指令，教师提供针对性的示范，合成器整合验证后的教训。通过这种方式，UTT能够迭代更新Primer，形成有效的知识传递。

关键创新：UTT的主要创新在于其参数更新自由的设计，使得知识蒸馏不再依赖于特定的模型架构。通过文本化的方式，UTT实现了知识的可解释性和重用性，显著区别于传统的KD方法。

关键设计：UTT的设计中，Primer的生成依赖于多角色的互动反馈机制，确保了知识的有效传递和整合。具体的参数设置和损失函数未在摘要中详细说明，可能需要参考论文的具体内容以获取更多技术细节。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，UTT在数学任务（Omni-MATH-2）和代码生成任务（KernelBench）上显著提升了学生模型的准确率，数学推理准确率从27.6%提升至51.7%，KernelBench的Fast1准确率从9%提升至35%。UTT的表现超越了代表性的提示工程和基于参数的KD方法，验证了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括教育、智能助手和自动化编程等。通过提供可重用的知识工件，UTT能够帮助不同模型在多种任务中快速适应，降低训练成本，提高模型的普适性和效率。未来，UTT可能在大规模语言模型的知识转移和应用中发挥重要作用。

📄 摘要（原文）

Knowledge distillation (KD) transfers knowledge from stronger Teacher models to weaker Student models, but most methods require training the Student parameters, thereby binding the distilled knowledge to a specific architecture and checkpoint. This implicit representation is difficult to interpret or reuse across models and limits KD for API-only or costly-to-train models. This paper studies knowledge transfer for large language models (LLMs). We introduce Universal Textual Teaching (UTT), a parameter-update-free framework that distills observed Teacher-Student knowledge gaps into a textual, interpretable, and reusable natural-language artifact called Primer. Specifically, UTT first identifies representative gap cases through paired evaluations, and iteratively updates the Primer via multi-role interactions: the Student attempts each task, the Prompter turns evaluation feedback into a teaching instruction, the Teacher provides a targeted demonstration, and the Synthesizer consolidates validated lessons. Empirically, on the challenging math (Omni-MATH-2) and code generation (KernelBench) tasks, extensive results confirm the effectiveness of the method: UTT remarkably raises the Student's accuracy from 9.4% to 48.6% and Fast1 accuracy from 9% to 35% on KernelBench, while increasing mathematical reasoning accuracy from 27.6% to 51.7%. UTT also performs better than representative prompt engineering and parameter-based KD methods. Of note, UTT is shown to be generalizable across different Teachers and Students: a Primer synthesized for one Teacher-Student pair can generalize to other Students that do not participate in the synthesis.