MIND: From Passive Mimicry to Active Reasoning through Capability-Aware Multi-Perspective CoT Distillation

📄 arXiv: 2601.03717v1 📥 PDF

作者: Jin Cui, Jiaqi Guo, Jiepeng Zhou, Ruixuan Yang, Jiayi Lu, Jiajun Xu, Jiangcheng Song, Boran Zhao, Pengju Ren

分类: cs.CL

发布日期: 2026-01-07

备注: 13 pages, 8 figures

💡 一句话要点

提出MIND框架，通过能力感知的多视角CoT蒸馏实现主动推理，提升小模型的泛化能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识蒸馏 思维链 多视角学习 能力感知 主动推理

📋 核心要点

  1. 现有知识蒸馏方法在将大型语言模型的推理能力迁移到小模型时，难以兼顾领域性能和跨领域泛化能力。
  2. MIND框架通过引入“教学助手”网络生成多样化的教师视角，并采用反馈驱动的惯性校准机制，使监督信号与学生模型的能力相匹配。
  3. 实验结果表明，MIND在同分布和异分布数据集上均取得了SOTA性能，并有效提升了小模型的推理能力。

📝 摘要（中文）

大型语言模型（LLMs）通过思维链（Chain-of-Thought, CoT）推理在复杂任务中展现了卓越的能力，但实际资源限制促使人们将这些能力迁移到较小的模型上。然而，实现领域性能和跨领域泛化仍然具有挑战性。现有方法通常限制学生模型遵循单一的“黄金”推理路径，并独立对待不同的推理路径。由于不同的归纳偏置和内在偏好，以及学生模型在训练过程中不断变化的能力和推理偏好，教师模型的“最优”推理可能充当了分布外的噪声。这种错位导致学生模型潜在推理分布的退化，从而导致次优性能。为了弥合这一差距，我们提出了MIND，一个能力自适应框架，将蒸馏从被动模仿转变为主动认知构建。我们通过一种新颖的“教学助手”网络来综合不同的教师视角。通过采用反馈驱动的惯性校准机制，该网络利用惯性过滤的训练损失来使监督与学生模型当前的适应性对齐，从而有效地提高性能，同时减轻灾难性遗忘。大量的实验表明，MIND在同分布和异分布基准测试中都实现了最先进的性能，并且我们精细的潜在空间分析进一步证实了推理能力内化的机制。

🔬 方法详解

问题定义：现有知识蒸馏方法在将大型语言模型的推理能力迁移到小模型时，存在学生模型难以适应教师模型提供的单一“黄金”推理路径的问题。由于模型架构差异和训练过程中的能力变化，教师模型的最佳推理路径可能对学生模型而言是分布外的噪声，导致学生模型性能下降。

核心思路：MIND框架的核心思路是将知识蒸馏从被动模仿转变为主动认知构建。通过引入多个“教学助手”网络，从不同角度提供多样化的推理路径，并根据学生模型的能力动态调整监督信号，使其更易于学习。

技术框架：MIND框架包含以下主要模块：1) 教学助手网络：生成多样化的教师视角，提供不同的推理路径。2) 学生模型：接收来自教学助手网络的监督信号，学习推理能力。3) 反馈驱动的惯性校准机制：根据学生模型的训练损失，动态调整教学助手网络的监督强度，避免灾难性遗忘。整体流程是，教学助手网络生成推理路径，学生模型学习，然后根据学生模型的表现调整教学助手网络的行为。

关键创新：MIND框架的关键创新在于：1) 多视角CoT蒸馏：通过多个教学助手网络提供多样化的推理路径，避免学生模型过度依赖单一的“黄金”推理路径。2) 能力感知的蒸馏：通过反馈驱动的惯性校准机制，根据学生模型的能力动态调整监督信号，使其更易于学习。

关键设计：1) 教学助手网络结构：具体结构未知，但其目标是生成多样化的推理路径。2) 反馈驱动的惯性校准机制：使用惯性过滤的训练损失来调整教学助手网络的监督强度。具体实现细节未知。

📊 实验亮点

实验结果表明，MIND框架在同分布和异分布数据集上均取得了SOTA性能。具体性能数据未知，但论文强调了MIND在提升小模型推理能力和泛化能力方面的显著优势。

🎯 应用场景

MIND框架可应用于各种需要将大型语言模型的推理能力迁移到资源受限设备上的场景，例如移动设备上的智能助手、边缘计算设备上的自然语言处理应用等。该研究有助于降低AI应用的部署成本，并提高其在资源受限环境中的可用性。

📄 摘要（原文）

While Large Language Models (LLMs) have emerged with remarkable capabilities in complex tasks through Chain-of-Thought reasoning, practical resource constraints have sparked interest in transferring these abilities to smaller models. However, achieving both domain performance and cross-domain generalization remains challenging. Existing approaches typically restrict students to following a single golden rationale and treat different reasoning paths independently. Due to distinct inductive biases and intrinsic preferences, alongside the student's evolving capacity and reasoning preferences during training, a teacher's "optimal" rationale could act as out-of-distribution noise. This misalignment leads to a degeneration of the student's latent reasoning distribution, causing suboptimal performance. To bridge this gap, we propose MIND, a capability-adaptive framework that transitions distillation from passive mimicry to active cognitive construction. We synthesize diverse teacher perspectives through a novel "Teaching Assistant" network. By employing a Feedback-Driven Inertia Calibration mechanism, this network utilizes inertia-filtered training loss to align supervision with the student's current adaptability, effectively enhancing performance while mitigating catastrophic forgetting. Extensive experiments demonstrate that MIND achieves state-of-the-art performance on both in-distribution and out-of-distribution benchmarks, and our sophisticated latent space analysis further confirms the mechanism of reasoning ability internalization.