Skill-Decoupled On-Policy Expert Distillation for Unified Vision-Language Models

📄 arXiv: 2610.22217v1 📥 PDF

作者: Yuqi Xiong, Chunyi Peng, Zhipeng Xu, Qing Yang, Zhenghao Liu, Zulong Chen, Yu Gu, Ge Yu

分类: cs.CV, cs.AI

发布日期: 2026-10-15

🔗 代码/项目: GITHUB

💡 一句话要点

提出SCOPED以解决视觉语言模型中的能力干扰问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 强化学习 专家蒸馏 多模态学习 技能解耦 奖励引导 能力优化

📋 核心要点

  1. 现有方法在联合优化异构目标时，容易引发跨能力的梯度冲突，导致训练效果不佳。
  2. 提出的SCOPED方法通过独立训练能力特定的专家，利用奖励引导反思提取显式技能，减少干扰。
  3. 在八个多模态基准测试中，SCOPED的表现优于基础模型和混合能力的强化学习，展示了其有效性。

📝 摘要（中文）

强化学习（RL）能够在视觉语言模型（VLMs）中引发专门的视觉能力，但联合优化异构目标常常引入跨能力的梯度冲突。独立训练专家可以缓解这种干扰，但直接的奖励优化可能会将专门知识与奖励操控偏见纠缠在一起。本文提出了技能解耦的在线专家蒸馏（SCOPED），通过奖励引导反思训练能力特定的专家并提取显式技能。在在线蒸馏过程中，这些技能指导专家监督，同时对统一学生不可用，鼓励其在推理时内化程序知识而不依赖显式技能。在八个多模态基准测试中，SCOPED始终优于基础模型和混合能力的强化学习，展示了技能解耦在线专家蒸馏在整合独立获取能力方面的有效性。进一步分析揭示了联合能力优化中的干扰，并表明技能增强促进了更一致的专家轨迹、更关注任务相关的视觉证据，以及更好地保留了统一学生中的专门知识。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型中由于联合优化异构目标而导致的能力干扰问题。现有方法在训练过程中容易出现跨能力的梯度冲突，影响模型性能。

核心思路：SCOPED通过独立训练能力特定的专家，并在在线蒸馏过程中提取显式技能，从而减少不同能力之间的干扰。该方法设计的初衷是让统一学生在推理时不依赖显式技能，而是内化程序知识。

技术框架：SCOPED的整体架构包括能力特定专家的训练、奖励引导的反思过程以及在线蒸馏阶段。在蒸馏过程中，专家的技能指导学生的学习，但这些技能对学生是不可用的。

关键创新：SCOPED的主要创新在于技能解耦的在线专家蒸馏方法，它与现有方法的本质区别在于通过独立训练专家来减少能力间的干扰，而不是将所有能力混合在一起进行训练。

关键设计：在设计中，SCOPED采用了特定的损失函数来平衡奖励优化与技能提取的关系，同时在网络结构上，专家和学生模型的设计确保了技能的有效传递与内化。具体的参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在八个多模态基准测试中，SCOPED方法的表现显著优于基础模型和混合能力的强化学习，具体提升幅度达到了XX%（具体数据需查阅原文），证明了其在能力解耦和专家蒸馏方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动驾驶、机器人视觉等多模态任务，能够有效提升模型在复杂环境中的决策能力和任务执行效率。未来，SCOPED方法可能推动更高效的视觉语言模型的发展，促进人机交互的智能化。

📄 摘要（原文）

Reinforcement learning (RL) can elicit specialized visual capabilities in vision-language models (VLMs), yet jointly optimizing heterogeneous objectives often introduces cross-capability gradient conflicts. Training experts independently mitigates this interference, but direct reward optimization may entangle specialized knowledge with reward-hacking biases. This paper proposes Skill-Decoupled On-Policy Expert Distillation (SCOPED), which trains capability-specific experts and extracts explicit skills through reward-guided reflection. During on-policy distillation, these skills guide expert supervision while remaining unavailable to the unified student, encouraging it to internalize procedural knowledge without explicit skills at inference time. Across eight multimodal benchmarks, SCOPED consistently outperforms the backbone and mixed-capability RL, demonstrating the effectiveness of skill-decoupled on-policy expert distillation for integrating independently acquired capabilities. Further analyses reveal interference during joint capability optimization and suggest that skill augmentation promotes more consistent expert trajectories, greater attention to task-relevant visual evidence, and better preservation of specialized expertise in the unified student. All code and data are available at https://github.com/NEUIR/SCOPED.