Collaborative Learning and Reasoning over Model Slices
作者: Yuheng Wang, Runde Yang, Zhuohan Bao, Qiran Zhang, Huatao Li, Yiyang Zheng, Lin Wu, Jingru Fan, Shu Yao, Yihan Li, Zhi Li, Chen Qian
分类: cs.AI
发布日期: 2026-10-09
💡 一句话要点
提出协作学习以解决单模型推理盲点问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 协作学习 模型切片 金字塔监督 多跳问答 数学推理 代码生成 推理效率
📋 核心要点
- 现有大型语言模型在推理过程中容易受到错误传播的影响，导致推理盲点难以独立评估。
- 本文提出协作学习，通过模型切片和金字塔监督实现异构模型间的有效协作与推理重评估。
- 实验结果显示，训练后的异构模型在多种任务上性能优于原大型模型，且推理效率更高。
📝 摘要（中文）
大型语言模型（LLMs）在多种任务中表现优异，得益于知识先验、上下文推理和测试时计算。然而，单模型推理容易受到错误传播的影响，后续步骤依赖于前面的输出，导致难以独立重新评估推理盲点。为了解决这一限制，本文提出了协作学习，构建异构协作者并学习有效的跨模型协作。具体而言，模型切片将大型模型替换为在相似参数预算下的小型异构模型，使得先前的推理可以在不同模型参数化下重新评估。金字塔监督结合协议蒸馏与步骤级监督，精炼协作过程中的推理与交互决策。我们在多跳问答、数学推理、代码生成和开放式约束生成四个任务类别上评估了该方法，训练后的异构模型在任务性能上与原大型模型及现有多智能体基线相当或更优，同时在推理效率上优于多智能体基线，并在任务间展现出差异化的协作模式。这些发现表明，学习的协作将模型异构性转化为互补的推理能力。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在推理过程中因错误传播导致的盲点问题。现有方法在推理步骤中依赖前一步的输出，造成难以独立评估的局限性。
核心思路：提出协作学习的框架，通过构建异构模型协作者，利用模型切片技术在不同参数化下重新评估推理，从而减少错误传播的影响。
技术框架：整体架构包括模型切片、金字塔监督和异构模型协作三个主要模块。模型切片将大型模型分解为多个小型模型，金字塔监督则结合了协议蒸馏和步骤级监督，以优化协作过程。
关键创新：最重要的创新在于通过模型切片实现异构模型的协作，允许在不同模型参数化下进行推理重评估，这与传统单模型推理方法有本质区别。
关键设计：在模型切片中，选择了适当的模型参数预算，并设计了金字塔监督的损失函数，以确保在协作过程中各模型的推理和交互决策得到有效优化。具体的网络结构和参数设置在实验中经过调优。
🖼️ 关键图片
📊 实验亮点
实验结果表明，训练后的异构模型在多跳问答、数学推理等任务上性能与原大型模型相当或更优，且在推理效率上比现有多智能体基线高出显著，展示了协作学习的有效性和优势。
🎯 应用场景
该研究的潜在应用领域包括多跳问答、数学推理、代码生成等任务，能够提升大型语言模型在复杂推理场景下的表现。通过异构模型的协作，未来可能在智能助手、教育工具和自动化编程等领域发挥重要作用，推动人工智能的进一步发展。
📄 摘要（原文）
Large language models (LLMs) excel across diverse tasks, benefiting from knowledge priors, in-context reasoning, and test-time computation. Despite these strengths, single-model reasoning remains vulnerable to error propagation, as later steps depend on the model's earlier outputs, leaving reasoning blind spots difficult to independently reassess. To address this limitation, we develop \textit{collaborative learning}, encompassing the construction of heterogeneous collaborators and the learning of effective cross-model collaboration. Specifically, \textit{model slicing} replaces a large model with smaller, heterogeneous models under a comparable parameter budget, enabling prior reasoning to be reassessed across distinct model parameterizations. \textit{Pyramid supervision} combines protocol distillation with step-level supervision to refine reasoning and interaction decisions throughout collaboration. We evaluate our approach across four task categories: multi-hop question answering, mathematical reasoning, code generation, and open-ended constrained generation. The trained heterogeneous models achieve comparable or better task performance than the original large model and established multi-agent baselines, including reinforcement-learning-based methods, while also achieving higher inference efficiency than the multi-agent baselines and exhibiting differentiated collaboration patterns across tasks. These findings show that learned collaboration turns model heterogeneity into complementary reasoning capabilities.