Collaborative Reasoning Distillation via Cross-Feedback and Coherent Curation

📄 arXiv: 2610.09587v1 📥 PDF

作者: Taehoon Kim, Seunggeun Cho, Dongsu Han

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-10-07

备注: Accepted at NeurIPS 2026

💡 一句话要点

提出协作推理蒸馏方法以提升小型模型的推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推理能力 模型蒸馏 交叉反馈 质量评估 小型模型

📋 核心要点

  1. 现有的推理蒸馏方法要么计算成本高昂，要么无法有效提炼推理能力，导致小型模型性能不足。
  2. 本文提出的协作推理蒸馏（CRD）框架通过教师模型间的互动反馈和细粒度质量评估来提升小型模型的推理能力。
  3. 实验结果表明，CRD-4B在多个基准测试中表现优异，使用的数据量显著低于同类模型，提升效果明显。

📝 摘要（中文）

推理能力对于大型语言模型的进步至关重要，但现有方法要么需要巨大的计算资源，要么难以有效地将推理能力蒸馏到小型模型中。标准的蒸馏方法依赖于基于结果的奖励，无法区分合理推理与运气好的猜测。本文提出了协作推理蒸馏（CRD）框架，通过三项创新提升小型模型的推理能力：1）教师模型之间的互动反馈；2）细粒度的逐步质量评估，独立于最终答案捕捉逻辑有效性；3）关注一致性的步骤拼接，综合互补优势。我们的模型CRD-4B在MATH-500上取得97.3%的成绩，在AIME'25上达到70.3%，超越基线，同时仅使用50K训练样本，数据集规模比可比模型小12倍。

🔬 方法详解

问题定义：本文旨在解决现有推理蒸馏方法在有效性和计算资源上的不足，尤其是在小型模型中推理能力的提炼问题。现有方法往往依赖于最终结果，无法有效区分合理推理与偶然猜测。

核心思路：提出协作推理蒸馏（CRD）框架，通过教师模型间的互动反馈和细粒度的质量评估，提升小型模型的推理能力。设计上强调教师模型之间的批评与反馈，以促进更深层次的推理能力传递。

技术框架：CRD框架包含三个主要模块：互动交叉反馈、细粒度质量评估和一致性步骤拼接。互动反馈模块使教师模型能够相互批评，质量评估模块则独立于最终答案评估推理的逻辑有效性，而步骤拼接模块则整合不同模型的优势。

关键创新：本文的创新在于引入了互动交叉反馈机制和细粒度质量评估，前者促进了教师模型间的协作，后者确保了推理过程的逻辑性。这些创新使得蒸馏过程不仅关注最终结果，更关注推理的过程和质量。

关键设计：在训练过程中，采用了推理质量优化（RQO）方法，设置了预算约束，以确保在有限的训练样本下实现最佳性能。模型结构设计上，强调了教师模型的互评机制和逻辑有效性评估的细致化。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

CRD-4B模型在MATH-500基准测试中取得了97.3%的准确率，在AIME'25中达到70.3%，显著超越了现有基线，同时仅使用了50K的训练样本，数据量比同类模型少12倍，展现了其在资源利用上的高效性。

🎯 应用场景

该研究的潜在应用领域包括教育技术、智能问答系统和自动推理工具等。通过提升小型模型的推理能力，能够在资源受限的环境中实现高效的智能应用，具有重要的实际价值和广泛的未来影响。

📄 摘要（原文）

Reasoning capabilities are critical for advancing Large Language Models, yet current approaches either require massive computational budgets or struggle to effectively distill reasoning to smaller models. Standard distillation methods rely on outcome-based rewards, failing to distinguish between sound reasoning and lucky guesses. We propose Collaborative Reasoning Distillation (CRD), a framework that enhances reasoning in compact models through three innovations: (1) interactive cross-feedback where teachers iteratively critique each other's reasoning, (2) fine-grained step-wise quality assessment capturing logical validity independent of final answers, and (3) coherence-aware step stitching that synthesizes complementary strengths. Students are trained via Reasoning Quality Optimization (RQO) with budget constraints. Our model, CRD-4B, achieves 97.3% on MATH-500 and 70.3% on AIME'25, surpassing baselines while using only 50K training examples, up to 12 times smaller than the datasets of comparable models.