Less Data, Better Timing: Student-Curriculum Coupling for VLM On-Policy Distillation in Temporal Video Grounding
作者: Jiacheng Qiu, Yunsoo Kim, Ruichen Xu, Jian Luo, Petar M. Djurić, Sima Mofakham
分类: cs.CV, cs.AI
发布日期: 2026-09-30
💡 一句话要点
提出学生-课程耦合方法以提升视频时序定位效果
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视频时序定位 在线蒸馏 学生-课程耦合 多模态学习 监督学习 计算效率 深度学习
📋 核心要点
- 现有的在线蒸馏方法假设训练示例在整个优化过程中保持正向监督价值，未能适应学生的学习能力变化。
- 提出的学生-课程耦合（SCC）框架通过动态调整监督示例，确保教师计算集中于学生当前的任务缺陷。
- 在三个视频时序定位基准上，SCC实现了5.1%的平均召回率提升，同时减少了60%的训练样本和50.4%的训练时间。
📝 摘要（中文）
论文提出了一种新的闭环框架——学生-课程耦合（SCC），用于视频时序定位中的在线蒸馏（OPD）。现有方法通常基于固定教师和初始学生状态构建训练课程，未考虑示例在优化过程中的监督价值变化。通过引入耦合视角，SCC动态调整监督示例，集中教师计算和优化于当前任务缺陷。实验表明，SCC在三个基准测试中相较于传统方法提高了5.1%的平均召回率，同时减少了60%的训练样本和50.4%的训练时间。
🔬 方法详解
问题定义：论文旨在解决现有在线蒸馏方法在视频时序定位中对固定监督示例的依赖，导致监督价值未能随学生能力变化而调整的问题。
核心思路：通过引入学生-课程耦合（SCC）框架，动态调整监督示例的激活状态，确保教师的计算资源集中于学生当前的学习需求，从而提高学习效率。
技术框架：SCC框架包括一个紧凑的锚点-前沿课程，定义候选监督空间，并通过学生的能力动态确定其活跃子集，形成闭环反馈机制。
关键创新：SCC的创新在于将监督信任度与监督必要性耦合，允许根据学生的任务能力动态激活、暂停或重新激活监督，从而优化学习过程。
关键设计：论文设计了能力结构化的课程和学生依赖的监督机制，确保在训练过程中有效利用教师的计算资源，提升了训练效率和效果。具体的损失函数和网络结构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SCC在三个视频时序定位基准上相较于传统的在线蒸馏方法提高了5.1%的平均召回率，同时减少了60%的训练样本和50.4%的训练时间，展现出显著的性能提升和计算效率。
🎯 应用场景
该研究的潜在应用领域包括视频分析、智能监控和多媒体检索等，能够有效提升视频时序定位的准确性和效率。未来，SCC框架可能在其他多模态学习任务中展现出更广泛的应用价值，推动相关领域的发展。
📄 摘要（原文）
On-policy distillation (OPD) provides dense supervision directly on student-generated trajectories, making it an effective post-training strategy for vision-language models in temporal video grounding (TVG). However, existing pipelines typically construct the training curriculum from a fixed teacher and the initial student state, implicitly assuming that selected examples retain positive supervision value throughout optimization. We show that supervision trustworthiness and supervision necessity are distinct yet coupled: the former concerns target credibility, while the latter varies with the student's current task competence; together, they shape supervision value. Building on this coupled view, we introduce Student-Curriculum Coupling (SCC), a closed-loop framework in which a compact Anchor-Frontier curriculum defines the candidate supervision space and the evolving student dynamically determines its active subset. Supervision can therefore be activated, suspended, or reactivated as competence changes, concentrating teacher computation and optimization on current task-level deficits. Across three TVG benchmarks, SCC achieves a 5.1% relative improvement in mean recall over Video-OPD on its original curriculum, while using 60.0% fewer training examples and reducing training time by 50.4%. Ablations support the complementary roles of capability-structured curriculum design and student-dependent supervision in achieving these gains. Together, these results establish SCC as a data- and compute-efficient framework for TVG post-training, delivering stronger temporal grounding by aligning trustworthy supervision with the student's evolving learning needs.