Basic Reading Distillation

📄 arXiv: 2507.19741v2 📥 PDF

作者: Zhi Zhou, Sirui Miao, Xiangyu Duan, Hao Yang, Min Zhang

分类: cs.CL

发布日期: 2025-07-26 (更新: 2025-07-29)

备注: Accepted by ACL2025

💡 一句话要点

提出基本阅读蒸馏以提升小模型的自然语言处理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 基本阅读蒸馏 小模型 自然语言处理 知识蒸馏 任务蒸馏 命名实体识别 问答系统

📋 核心要点

  1. 现有的知识蒸馏和任务蒸馏方法未能关注小模型在通用文本上的基本阅读能力，导致其在实际应用中表现不佳。
  2. 本文提出基本阅读蒸馏（BRD），通过教育小模型模仿LLMs的基本阅读行为，提升其在多种任务上的表现。
  3. 实验结果表明，经过BRD训练的小模型在语言推理和BIG-bench任务上超越或与20倍以上的LLMs相当，显示出显著的性能提升。

📝 摘要（中文）

大型语言模型（LLMs）在自然语言处理领域表现出色，但其高计算资源需求限制了实际应用。蒸馏技术通过知识蒸馏或任务蒸馏来解决这一问题，但现有方法忽视了对小模型进行基本阅读教育。本文提出基本阅读蒸馏（BRD），旨在教育小模型模仿LLMs在通用文本上的基本阅读行为，如命名实体识别、提问和回答。经过这种基本教育后，小模型在语言推理基准和BIG-bench任务上表现出色，能够超越或与20倍以上的大型LLMs相媲美。分析表明，BRD有效影响小模型的概率分布，并与知识蒸馏或任务蒸馏具有正交性。

🔬 方法详解

问题定义：本文旨在解决小模型在通用文本上缺乏基本阅读能力的问题，现有的蒸馏方法未能有效提升小模型的基本理解能力。

核心思路：通过基本阅读蒸馏（BRD），教育小模型模仿LLMs的基本阅读行为，如命名实体识别和问答，增强其对文本的理解能力。

技术框架：BRD的整体架构包括数据准备、基本阅读行为的定义、模型训练和评估四个主要模块。首先，准备通用文本数据，然后定义基本阅读任务，接着训练小模型，最后在多种任务上进行评估。

关键创新：BRD的主要创新在于其关注小模型的基本阅读能力，与传统的知识蒸馏和任务蒸馏方法不同，强调了对通用文本的理解。

关键设计：在训练过程中，采用特定的损失函数来优化小模型的阅读行为，并设计了适合小模型的网络结构，以确保其能够有效学习基本阅读任务。具体参数设置和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，经过基本阅读蒸馏训练的小模型在语言推理基准和BIG-bench任务上，性能超越或与20倍以上的大型LLMs相当，展现出显著的提升，证明了BRD的有效性。

🎯 应用场景

该研究的潜在应用领域包括教育、智能问答系统和信息检索等。通过提升小模型的基本阅读能力，可以在资源受限的环境中实现高效的自然语言处理，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Large language models (LLMs) have demonstrated remarkable abilities in various natural language processing areas, but they demand high computation resources which limits their deployment in real-world. Distillation is one technique to solve this problem through either knowledge distillation or task distillation. Both distillation approaches train small models to imitate specific features of LLMs, but they all neglect basic reading education for small models on generic texts that are \emph{unrelated} to downstream tasks. In this paper, we propose basic reading distillation (BRD) which educates a small model to imitate LLMs basic reading behaviors, such as named entity recognition, question raising and answering, on each sentence. After such basic education, we apply the small model on various tasks including language inference benchmarks and BIG-bench tasks. It shows that the small model can outperform or perform comparable to over 20x bigger LLMs. Analysis reveals that BRD effectively influences the probability distribution of the small model, and has orthogonality to either knowledge distillation or task distillation.