Improving In-Context Learning with Reasoning Distillation

📄 arXiv: 2504.10647v1 📥 PDF

作者: Nafis Sadeq, Xin Xu, Zhouhang Xie, Julian McAuley, Byungkyu Kang, Prarit Lamba, Xiang Gao

分类: cs.CL

发布日期: 2025-04-14

🔗 代码/项目: GITHUB

💡 一句话要点

提出推理蒸馏技术以提升语言模型的上下文学习能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 推理蒸馏 语言模型 归纳推理 数据增强 监督微调

📋 核心要点

  1. 现有语言模型在归纳推理任务中表现不佳，尤其是对输入与输出之间规则的理解不足。
  2. 本文提出的ReDis技术通过推理蒸馏，结合数据增强和监督微调，旨在提升模型的推理能力。
  3. 实验结果显示，ReDis在多个任务上相较于GPT-4o有显著提升，尤其在1D-ARC、ACRE和MiniSCAN上分别提升23.2%、2.8%和66.6%。

📝 摘要（中文）

语言模型依赖语义先验进行上下文学习，但在涉及归纳推理的任务中表现不佳。基于模仿学习的指令调优方法虽然能表面上提升模型的上下文学习性能，但往往无法改善模型对输入与输出之间基本规则的理解。本文提出了一种名为ReDis的推理蒸馏技术，旨在提升语言模型的归纳推理能力。通过数据增强、过滤、监督微调和对齐的精心组合，ReDis在多个任务上实现了显著的性能提升，包括1D-ARC、List Function、ACRE和MiniSCAN。实验表明，ReDis在所有任务上均超越了相应的少样本提示基线，并在某些情况下超过了教师模型GPT-4o。

🔬 方法详解

问题定义：本文解决的是语言模型在归纳推理任务中的性能不足，尤其是对输入与输出规则理解的缺失。现有的模仿学习方法虽然能提升上下文学习的表面性能，但未能有效改善模型的推理能力。

核心思路：ReDis的核心思路是通过推理蒸馏技术，结合数据增强、过滤和监督微调，来提升语言模型的归纳推理能力。这种设计旨在让模型更好地理解输入与输出之间的关系。

技术框架：ReDis的整体架构包括数据增强模块、过滤模块、监督微调模块和对齐模块。数据增强用于生成多样化的训练样本，过滤模块则确保训练数据的质量，监督微调模块通过标注数据进行模型优化，而对齐模块则确保模型输出与期望结果的一致性。

关键创新：ReDis的主要创新在于推理蒸馏的引入，使得模型不仅学习到表面的输入输出映射，还能理解背后的推理规则。这与传统的模仿学习方法有本质区别，后者往往只关注表面性能。

关键设计：在ReDis中，关键的参数设置包括数据增强的策略、过滤标准的选择，以及监督微调的损失函数设计。这些设计确保了模型在训练过程中能够有效地学习到推理能力，而不仅仅是简单的模式匹配。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ReDis在1D-ARC、ACRE和MiniSCAN任务上分别相较于GPT-4o提升了23.2%、2.8%和66.6%。此外，ReDis在所有任务上均超越了相应的少样本提示基线，展示了其显著的性能优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和教育技术等。通过提升语言模型的推理能力，ReDis可以帮助模型更好地理解复杂问题，提供更准确的答案，从而在实际应用中具有重要价值和影响。

📄 摘要（原文）

Language models rely on semantic priors to perform in-context learning, which leads to poor performance on tasks involving inductive reasoning. Instruction-tuning methods based on imitation learning can superficially enhance the in-context learning performance of language models, but they often fail to improve the model's understanding of the underlying rules that connect inputs and outputs in few-shot demonstrations. We propose ReDis, a reasoning distillation technique designed to improve the inductive reasoning capabilities of language models. Through a careful combination of data augmentation, filtering, supervised fine-tuning, and alignment, ReDis achieves significant performance improvements across a diverse range of tasks, including 1D-ARC, List Function, ACRE, and MiniSCAN. Experiments on three language model backbones show that ReDis outperforms equivalent few-shot prompting baselines across all tasks and even surpasses the teacher model, GPT-4o, in some cases. ReDis, based on the LLaMA-3 backbone, achieves relative improvements of 23.2%, 2.8%, and 66.6% over GPT-4o on 1D-ARC, ACRE, and MiniSCAN, respectively, within a similar hypothesis search space. The code, dataset, and model checkpoints will be made available at https://github.com/NafisSadeq/reasoning-distillation.git.