Why Distillation can Outperform Zero-RL: The Role of Flexible Reasoning

📄 arXiv: 2505.21067v1 📥 PDF

作者: Xiao Hu, Xingyu Lu, Liyuan Mao, YiFan Zhang, Tianke Zhang, Bin Wen, Fan Yang, Tingting Gao, Guorui Zhou

分类: cs.AI

发布日期: 2025-05-27

💡 一句话要点

仅用少量数据，蒸馏法在LLM推理能力上超越Zero-RL

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 推理能力 知识蒸馏 强化学习 Zero-RL 认知行为 多角度思考 元认知

📋 核心要点

  1. 现有Zero-RL方法在提升LLM推理能力时，通常需要大量数据和计算资源，效率较低。
  2. 论文提出一种基于少量数据的蒸馏方法，利用基础模型进行知识提炼，提升LLM的推理能力。
  3. 实验结果表明，该蒸馏方法仅使用少量数据即可显著超越Zero-RL，并展现出更灵活的推理能力。

📝 摘要（中文）

强化学习（RL）在提升大型语言模型（LLM）的推理能力方面发挥了重要作用。一些研究直接将RL应用于较小的基础模型（称为zero-RL），也取得了显著进展。然而，本文表明，仅使用920个示例，一种基于基础模型的简单蒸馏方法就可以明显优于zero-RL，而zero-RL通常需要更多的数据和计算成本。通过分析模型输出中的token频率，我们发现蒸馏模型表现出更灵活的推理能力，它比zero-RL模型更频繁地使用拟人化的token和逻辑连接词。进一步的分析表明，蒸馏增强了两种高级认知行为的存在：多角度思考或尝试和元认知意识。这两种高级认知行为的频繁出现产生了灵活的推理，这对于解决复杂的推理问题至关重要，而zero-RL未能显著提高这些行为的频率。

🔬 方法详解

问题定义：论文旨在解决大型语言模型推理能力提升的问题，现有Zero-RL方法虽然有效，但需要大量数据和计算资源，效率较低。论文关注如何使用更少的数据和更低的计算成本，提升LLM的推理能力。

核心思路：论文的核心思路是利用知识蒸馏，将基础模型的知识迁移到另一个模型。通过蒸馏，模型可以学习到基础模型的推理模式和策略，从而提升自身的推理能力。论文发现蒸馏后的模型能够更灵活地运用逻辑连接词和拟人化token，并展现出更强的多角度思考和元认知能力。

技术框架：论文采用标准的知识蒸馏框架。首先，使用基础模型对少量数据进行推理，生成伪标签。然后，使用这些伪标签训练另一个模型，使其学习基础模型的推理能力。论文重点分析了蒸馏前后模型输出的token频率，以及多角度思考和元认知能力的变化。

关键创新：论文的关键创新在于发现蒸馏方法在提升LLM推理能力方面的有效性，并深入分析了蒸馏带来的认知行为变化。与Zero-RL相比，蒸馏方法在数据效率和计算成本上具有显著优势。此外，论文还揭示了灵活推理能力与多角度思考和元认知能力之间的关系。

关键设计：论文使用了920个示例进行蒸馏训练。具体的技术细节，如基础模型的选择、蒸馏损失函数的具体形式、以及训练超参数等，论文中没有详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，仅使用920个示例，基于基础模型的简单蒸馏方法就可以明显优于zero-RL，而zero-RL通常需要更多的数据和计算成本。蒸馏模型表现出更灵活的推理能力，更频繁地使用拟人化的token和逻辑连接词。蒸馏显著增强了多角度思考和元认知意识。

🎯 应用场景

该研究成果可应用于各种需要复杂推理能力的场景，例如问答系统、对话系统、智能客服等。通过使用少量数据进行蒸馏训练，可以快速提升LLM在特定领域的推理能力，降低开发成本，并提高用户体验。该方法还有助于开发更具通用性和适应性的AI系统。

📄 摘要（原文）

Reinforcement learning (RL) has played an important role in improving the reasoning ability of large language models (LLMs). Some studies apply RL directly to \textit{smaller} base models (known as zero-RL) and also achieve notable progress. However, in this paper, we show that using only 920 examples, a simple distillation method based on the base model can clearly outperform zero-RL, which typically requires much more data and computational cost. By analyzing the token frequency in model outputs, we find that the distilled model shows more flexible reasoning. It uses anthropomorphic tokens and logical connectors much more often than the zero-RL model. Further analysis reveals that distillation enhances the presence of two advanced cognitive behaviors: Multi-Perspective Thinking or Attempting and Metacognitive Awareness. Frequent occurrences of these two advanced cognitive behaviors give rise to flexible reasoning, which is essential for solving complex reasoning problems, while zero-RL fails to significantly boost the frequency of these behaviors.