RP-OPSD: Resolution-Privileged On-Policy Self-Distillation for Multimodal Large Language Models

📄 arXiv: 2607.24447v1 📥 PDF

作者: Qihui Zhu, Yuchen Wang, Zijian Wen, Tao Zhang, Mengjie Zhang, Yang Liu, Shuangwu Chen, Siying Wu, Jian Yang, Xiaofeng Jiang

分类: cs.CV

发布日期: 2026-07-27

💡 一句话要点

提出RP-OPSD以解决多模态大语言模型的自蒸馏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自蒸馏 多模态大语言模型 分辨率特权 在线学习 图像问答

📋 核心要点

  1. 现有的在线自蒸馏方法依赖于外部模型或人工标注，限制了其在多模态大语言模型中的可扩展性。
  2. RP-OPSD通过利用同一图像的高低分辨率视图之间的信息差异，提出了一种新的自蒸馏方法。
  3. 实验结果显示，RP-OPSD在原始分辨率下的性能提升了5.45%，并且训练速度比传统方法快了1.78倍。

📝 摘要（中文）

在现有的自蒸馏方法中，通常依赖于外部模型或人工标注的视觉证据，限制了其在多模态大语言模型中的应用。为了解决这一问题，本文提出了RP-OPSD（分辨率特权的在线自蒸馏），利用同一图像的高低分辨率视图之间的信息差异。在训练过程中，学生策略从四分之一原始分辨率的图像生成轨迹，而教师策略则使用原始分辨率图像提供监督。通过最小化学生轨迹输出分布之间的差异，学生能够学习教师在高分辨率输入下的预测行为，从而增强其低分辨率能力，并将学习到的改进转移到原始分辨率推理中。实验结果表明，RP-OPSD在原始分辨率下的平均性能提升了5.45%，并且训练速度比OPSD快了1.78倍。

🔬 方法详解

问题定义：现有的在线自蒸馏方法通常依赖于外部模型或人工标注的解决方案，限制了其在多模态大语言模型中的应用和扩展性。

核心思路：RP-OPSD利用同一图像的高低分辨率视图之间的信息差异，通过教师和学生策略的协同训练，增强学生在低分辨率输入下的预测能力。

技术框架：该方法包括两个主要模块：教师策略和学生策略。教师使用原始分辨率图像进行监督，而学生则从低分辨率图像生成轨迹，二者通过最小化输出分布的差异进行训练。

关键创新：RP-OPSD的创新在于不依赖于外部模型或人工标注，而是利用图像的分辨率差异作为特权信息，从而实现高效的自蒸馏。

关键设计：在训练过程中，学生策略生成的轨迹来自四分之一原始分辨率的图像，损失函数设计为最小化教师和学生输出分布之间的KL散度，以确保学生能够有效学习教师的预测行为。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

RP-OPSD在Qwen3.5-9B模型上的实验结果显示，平均性能在原始分辨率下提升了5.45%，同时训练速度较传统的OPSD方法快了1.78倍。这些结果表明，分辨率差异可以作为一种简单且可扩展的特权信息来源，有效提升多模态大语言模型的自蒸馏效果。

🎯 应用场景

RP-OPSD的研究成果在多模态大语言模型的训练中具有广泛的应用潜力，尤其是在需要处理图像和文本结合的任务中，如图像问答、视觉内容生成等。该方法的高效性和无需额外标注的特性，使其在实际应用中具备较高的价值，未来可能推动相关领域的进一步发展。

📄 摘要（原文）

On-Policy Self-Distillation (OPSD) uses privileged information available only to the teacher to provide dense token-level supervision on trajectories generated by the student. However, existing methods often rely on verified solution traces, explanations generated by external models, or manually localized visual evidence, which limits their scalable application to multimodal large language models. To address this issue, we exploit the information gap between high- and low-resolution views of the same image and propose RP-OPSD (Resolution-Privileged On-Policy Self-Distillation for Multimodal Large Language Models). During training, the student policy generates on-policy trajectories from images at one-quarter of the original resolution, while the teacher policy provides supervision using the original-resolution images. By minimizing the divergence between their output distributions along the student trajectories, the student learns the predictive behavior of the teacher under high-resolution inputs, thereby strengthening its low-resolution capability and transferring the learned improvement to original-resolution inference. RP-OPSD requires neither additional human annotations nor external models to generate solution traces but only image--question pairs. Experiments on Qwen3.5-9B show that RP-OPSD achieves a 5.45\% relative improvement in average performance at the original resolution and a $1.78\times$ training speedup over OPSD. These results demonstrate that resolution differences can serve as a simple and scalable source of privileged information, providing an effective and efficient approach to on-policy self-distillation for multimodal large language models.