Adaptive Mutual Distillation for Balanced Multi-Task Post-Training of Large Language Models

📄 arXiv: 2610.02856v1 📥 PDF

作者: Baohang Li, Xiaocheng Feng, Yichong Huang, Chengpeng Fu, Wenshuai Huo, Zekun Zhou, Zekun Yuan, Tingjia Zhang, Bing Qin

分类: cs.CL

发布日期: 2026-10-02

💡 一句话要点

提出自适应互蒸馏方法以解决多任务后训练不平衡问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多任务学习 后训练 互蒸馏 大型语言模型 性能优化 任务平衡 模型合并

📋 核心要点

  1. 现有的多任务后训练方法在处理不平衡训练数据时，往往无法有效平衡不同任务的贡献，导致性能不足。
  2. 本文提出的自适应互蒸馏（AMD）方法，通过联合训练两种不同任务平衡策略的模型，优化蒸馏权重以提升整体性能。
  3. 在六个基准测试中，AMD模型的平均分数显著高于监督微调基线，合并模型后进一步提升了性能，显示出良好的效果。

📝 摘要（中文）

多任务后训练大型语言模型（LLMs）旨在提高在不平衡训练数据下的任务性能。现有方法主要集中于单模型训练中的任务贡献平衡，而不同的任务平衡策略可以产生互补优势，提供互蒸馏的机会。本文提出自适应互蒸馏（AMD）框架，联合训练两种具有不同任务平衡策略的模型。AMD通过跨任务共享的短期训练探测评估蒸馏权重的候选调整，并利用任务验证分数为每个任务和转移方向选择调整。实验结果表明，AMD模型在六个基准测试和三种LLM骨干网络上均优于相同采样策略下的监督微调基线，并且合并后的模型在推理时进一步提升了平均基准分数。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在多任务后训练中因训练数据不平衡而导致的性能不足问题。现有方法主要关注单模型的任务贡献平衡，未能充分利用不同模型间的互补优势。

核心思路：提出自适应互蒸馏（AMD）框架，通过联合训练两种具有不同任务平衡策略的模型，利用跨模型的蒸馏机制来提升各自的性能。该方法通过短期训练探测评估蒸馏权重的调整，确保每个任务和转移方向的优化。

技术框架：AMD框架包括两个主要模块：一是基于不同任务平衡策略的模型训练，二是通过任务验证分数选择蒸馏权重的调整。整个流程涉及短期探测、权重评估和最终的模型合并。

关键创新：最重要的创新在于自适应蒸馏权重的动态调整机制，使得模型能够根据任务需求灵活优化，区别于传统的静态蒸馏方法。

关键设计：在模型训练中，采用了短期训练探测来评估蒸馏权重，结合任务验证分数进行选择，确保每个任务的蒸馏过程都是针对性的。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，AMD模型在六个基准测试中均优于相同采样策略下的监督微调基线，合并后的模型在推理时平均提升了2.91分，展现出显著的性能优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和多任务学习等场景。通过提升大型语言模型在多任务环境下的性能，AMD方法可以为实际应用提供更强的支持，尤其是在数据不平衡的情况下，具有重要的实际价值和未来影响。

📄 摘要（原文）

Multi-task post-training of large language models (LLMs) aims to improve performance across tasks with unequal amounts of training data. Existing methods focus primarily on balancing task contributions during single-model training. Different task-balancing strategies can produce models with complementary strengths, creating opportunities for mutual distillation. However, the usefulness of cross-model supervision can vary across tasks, transfer directions, and stages of training. We propose Adaptive Mutual Distillation (AMD), a collaborative post-training framework that jointly trains two models with different task-balancing strategies. AMD evaluates candidate adjustments to distillation weights through short training probes shared across tasks, then uses task-wise validation scores to select an adjustment for each task and transfer direction. Across six benchmarks and three LLM backbones, both AMD models achieve higher average benchmark scores than supervised fine-tuning (SFT) baselines trained with the same sampling strategies. They also outperform the task-balancing methods evaluated in our experiments. Merging the two trained models can further improve their average benchmark score while yielding a single model for inference. The merged models outperform multi-task SFT by an average of 2.91 points across the three backbones.