Redirecting Teacher Supervision: Temporal-Response-Guided Latent Distillation for Video-Language Models

📄 arXiv: 2610.13045v1 📥 PDF

作者: Xinkai Lu, Junli Zha, Haolan Wei, Jiahui Wang, Chao Zhou, Xiang Song

分类: cs.CV

发布日期: 2026-10-09

💡 一句话要点

提出时间响应引导的潜在蒸馏方法以提升视频语言模型性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 时间响应引导 潜在蒸馏 视频语言模型 多模态学习 蒸馏训练

📋 核心要点

  1. 现有的蒸馏方法未能有效利用学生生成序列的时间响应，导致时间学习的不足。
  2. 论文提出时间响应引导（TRG），通过测量表示对时间扰动的响应来优化监督方向。
  3. 在多个数据集上，TRG方法使得学生模型的宏观准确率提升了2.86个百分点，表现优于基线。

📝 摘要（中文）

在本研究中，作者探讨了如何通过教师预测支持学生生成序列的时间学习。现有的直接隐藏状态对齐方法未能充分利用学生的时间响应来选择监督方向。为此，提出了时间响应引导（TRG），该方法通过测量表示对局部时间扰动的响应，调整教师修正的投影，并恢复其原始范数。TRG在TempCompass、Video-MME、MVBench和Video-MMMU等数据集上显著提升了4B学生的宏观准确率，较基线提高了2.86个百分点。

🔬 方法详解

问题定义：本研究旨在解决现有蒸馏方法在时间学习中的不足，特别是如何有效利用学生的时间响应来指导教师监督方向。现有方法如直接隐藏状态对齐未能充分考虑这一点，导致学习效果不佳。

核心思路：论文提出的时间响应引导（TRG）方法，通过测量表示对局部时间扰动的响应，调整教师修正的投影，并将其恢复到原始范数，从而优化监督方向。该设计旨在更好地利用学生的时间响应信息。

技术框架：TRG方法的整体架构包括三个主要模块：首先，测量学生表示对时间扰动的响应；其次，进行教师修正的投影；最后，恢复修正的原始范数。该流程确保了监督方向的有效调整。

关键创新：TRG的核心创新在于通过时间响应的测量来改变监督方向，同时保持余弦损失值和对齐表示梯度范数。这一方法与现有的直接对齐方法有本质区别，能够更有效地支持时间学习。

关键设计：在TRG的实现中，采用了正交切线投影器和分离目标的设计，确保了修正组件的保留，并未单独对投影进行归一化。这些设计细节使得TRG在保持性能的同时，能够有效调整监督方向。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，TRG方法在TempCompass、Video-MME、MVBench和Video-MMMU等数据集上，较基线的输出仅依赖于蒸馏的OPD方法，提升了4B学生模型的宏观准确率2.86个百分点，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括视频理解、自动字幕生成和多模态学习等。通过提升视频语言模型的性能，TRG方法可以在实际应用中实现更高的准确性和鲁棒性，推动相关技术的发展与应用。

📄 摘要（原文）

On-policy distillation (OPD) transfers capabilities through teacher predictions on student-generated sequences, as studied by GKD and MiniLLM for language models and Video-OPD for video tasks. We ask how internal supervision can further support temporal learning. Direct hidden-state alignment does not explicitly use the student's temporal responses to choose a supervision direction. We propose Temporal-Response Guidance (TRG), which measures representation responses to local temporal perturbations, adds the teacher correction's projection onto their span back to the original correction, and restores its original norm. The projection is not normalized separately, and correction components outside the response space are retained. With an orthogonal tangent projector and a detached target, TRG changes the supervision direction while preserving the cosine-loss value and aligned-representation gradient norm at target construction. On TempCompass, Video-MME, MVBench, and Video-MMMU, TRG improves the 4B student's macro accuracy by 2.86 percentage points over the reported output-only OPD baseline.