Temporal Feature Distillation for Label-Efficient Precise Event Spotting in Sports Videos

📄 arXiv: 2607.10998v1 📥 PDF

作者: Hao Xu, Xinyu Wei, Sam Wells, Sunil Aryal

分类: cs.CV

发布日期: 2026-07-13

备注: Accepted at ACM MM 2026

💡 一句话要点

提出时间特征蒸馏方法以解决体育视频中的精确事件识别问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 精确事件识别 时间特征蒸馏 半监督学习 运动信息感知 视觉变换器 体育视频分析 深度学习

📋 核心要点

  1. 现有的自蒸馏方法在精确事件识别中效果不佳，缺乏监督时关键运动线索易被抑制为噪声。
  2. 提出时间特征蒸馏，通过对齐主干特征而非投影头输出，保留运动敏感和边界感知的线索。
  3. 在FSPerf数据集上，使用10%标注数据时，方法提升mAP 4.54分，且在80%标注数据下与全监督基线相当。

📝 摘要（中文）

精确事件识别（PES）需要区分视觉上相似但语义上不同的相邻帧，这使其与图像分类和粗略动作识别有本质区别。尽管自蒸馏方法如DINO在图像表示学习中表现出色，但直接应用于PES效果不佳：缺乏监督指导时，微妙但关键的运动线索常被抑制为噪声，导致对精确事件边界的表示不敏感。为此，本文提出了时间特征蒸馏，这是一种半监督目标，旨在对齐时间信息丰富的主干特征，以保留运动敏感和边界感知的线索。通过监督预热和逐步提升的训练策略，确保在无标签蒸馏开始前学习到有意义的事件线索。我们还引入了变换门移位模块，将运动感知的时间信息注入视觉变换器中。实验表明，在四个细粒度体育基准上，本文方法在全监督和半监督基线中均表现出一致的提升。

🔬 方法详解

问题定义：本文旨在解决精确事件识别（PES）中的特征表示问题，现有自蒸馏方法在缺乏监督时无法有效捕捉关键运动线索，导致对事件边界的敏感性不足。

核心思路：提出时间特征蒸馏，旨在对齐时间信息丰富的主干特征，以保留运动敏感和边界感知的线索。通过监督预热阶段，确保在无标签数据蒸馏之前，模型能够学习到有意义的事件特征。

技术框架：整体架构包括两个主要阶段：首先是监督预热阶段，逐步引入标签数据以稳定训练；其次是无标签数据的蒸馏阶段，利用时间特征蒸馏对齐主干特征。还引入了变换门移位模块，以增强模型对运动信息的感知能力。

关键创新：最重要的技术创新在于时间特征蒸馏的提出，它通过对齐主干特征而非传统的投影头输出，显著提升了模型对精确事件边界的敏感性。

关键设计：在损失函数设计上，采用了结合监督和无监督学习的混合损失，确保模型在不同阶段的学习效果；变换门移位模块的设计则通过多尺度的门控机制，增强了模型对运动信息的捕捉能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在FSPerf数据集上，使用10%标注数据时，本文方法的mAP提升了4.54分，且在80%标注数据下，模型的表现与全监督100%基线相当或更优，显示出显著的性能提升。

🎯 应用场景

该研究在体育视频分析、事件检测和智能监控等领域具有广泛的应用潜力。通过提高事件识别的精确度，可以为体育赛事的自动化分析、实时监控和数据挖掘提供更可靠的支持，未来可能推动相关领域的技术进步与应用落地。

📄 摘要（原文）

Precise Event Spotting (PES) requires distinguishing visually similar yet semantically distinct adjacent frames, making it fundamentally different from image classification and coarse action recognition. Although self-distillation methods such as DINO have shown strong representation learning ability in images, we find that directly applying them to PES is ineffective: without supervised guidance, subtle but crucial motion cues are often suppressed as noise, leading to representations that are insensitive to precise event boundaries. To address this, we propose Temporal Feature Distillation, a semi-supervised objective that aligns temporally informative backbone features, rather than projection-head outputs, to preserve motion-sensitive and boundary-aware cues for frame-level localization. A supervised warm-up with a ramp-up schedule further stabilizes training by ensuring that meaningful event cues are learned before unlabeled distillation begins. We also introduce Transformer Gate Shift, a multi-scale gated shifting module that injects motion-aware temporal information into Vision Transformers. Experiments on four fine-grained sports benchmarks show consistent improvements over fully supervised and semi-supervised baselines. Under 10\% supervision on FSPerf, our method improves mAP by 4.54 points over the strongest competing approach, and with only 80\% labeled data, it matches or surpasses the fully supervised 100\% baseline on two of the four datasets.