Is Better Teacher Supervision Enough? Unlocking Student-side Learning in Multimodal On-Policy Distillation

📄 arXiv: 2609.39120v1 📥 PDF

作者: Siyuan Liu, Kanghui Tian, Yue Duan, Yutao He, Shangdong Yang, Jian Zhang, Yinghuan Shi

分类: cs.CV

发布日期: 2026-09-30

🔗 代码/项目: GITHUB

💡 一句话要点

提出S-OPD以解决多模态蒸馏中的学生感知瓶颈问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态蒸馏 在线蒸馏 学生感知 视觉证据 策略对比 鲁棒性 推理能力 深度学习

📋 核心要点

  1. 现有的在线蒸馏方法主要集中在教师端的指导，忽视了学生感知能力的限制，这成为了多模态蒸馏的瓶颈。
  2. 本文提出的S-OPD框架通过教师校准的策略对比和策略一致性两个目标，显著增强了学生的感知学习能力。
  3. 在八个基准测试中，S-OPD在不同学生规模和蒸馏范式下均表现出一致的性能提升，特别是在LogicVista上提升了4.25分。

📝 摘要（中文）

本文提出了一种新的多模态在线蒸馏框架S-OPD，旨在通过增强学生的感知学习来解决现有方法中教师指导不足的问题。研究发现，学生的感知能力限制了多模态在线蒸馏的效果。通过引入教师校准的策略对比和策略一致性两个目标，S-OPD显著提升了学生在推理过程中的视觉证据依赖性和对视觉噪声的鲁棒性。实验结果表明，该方法在多个基准测试中均表现出一致的性能提升，尤其在LogicVista上提升幅度达到4.25分。

🔬 方法详解

问题定义：本文旨在解决多模态在线蒸馏中学生感知能力不足的问题。现有方法主要关注教师端的指导，导致学生在推理过程中对视觉信息的依赖性不足。

核心思路：S-OPD框架通过引入两个目标，分别是教师校准的策略对比和策略一致性，来增强学生的感知学习能力。这种设计旨在提高学生在推理过程中的视觉证据依赖性和对视觉噪声的鲁棒性。

技术框架：S-OPD的整体架构包括两个主要模块：教师校准的策略对比模块和策略一致性模块。前者通过教师提供的标记信息来区分学生在原始和遮挡图像下的策略，后者则对比学生在原始和噪声扰动图像下的策略一致性。

关键创新：S-OPD的最大创新在于其通过明确的目标来增强学生的感知学习能力，与现有方法相比，S-OPD不仅关注教师的指导，还重视学生的感知能力。

关键设计：在实现过程中，S-OPD不需要额外的数据标注、模型参数或推理操作，具有良好的兼容性。损失函数设计上，采用了教师校准的策略对比损失和策略一致性损失，以确保学生在不同条件下的学习效果。整体结构简单高效，易于集成到现有的在线蒸馏框架中。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在八个基准测试中，S-OPD方法在不同学生规模和蒸馏范式下均表现出一致的性能提升，特别是在LogicVista上提升了4.25分。此外，当与现有教师端监督方法结合时，S-OPD还可实现进一步的性能提升。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶、视频理解等需要多模态信息处理的场景。通过提升学生的感知能力，S-OPD可以在复杂环境中更好地进行推理和决策，具有重要的实际价值和未来影响。

📄 摘要（原文）

On-policy distillation (OPD) improves reasoning by providing token-level supervision from a teacher on a student's own trajectories. Existing methods primarily focus on enhancing this teacher-side guidance (e.g., by enriching teacher inputs and refining teacher feedback), yet we find that limited student perception is another critical bottleneck in multimodal OPD. By providing oracle visual facts, the performance of OPD-trained students can still be substantially improved for both weak and strong teachers. To address this bottleneck, we propose S-OPD, a simple multimodal on-policy distillation framework that explicitly strengthens student perceptual learning through two objectives. Specifically, Teacher-calibrated Policy Contrast separates student policies under original and masked images with teacher-based token-level gating, strengthening the student's reliance on visual evidence during reasoning. Policy Agreement aligns student policies under original and noise-perturbed images, further improving perceptual robustness to visual noise. Notably, our method can be seamlessly plugged into existing OPD frameworks, requiring no additional data annotations, model parameters or inference operations. Extensive experiments on eight benchmarks across student scales and distillation paradigms demonstrate consistent performance improvements, with gains of up to 4.25 points on LogicVista. When combined with existing teacher-side supervision methods, our method can yield further gains. Code is available at https://github.com/Sirilaw/S-OPD.