Temporal Saliency-Guided Distillation: A Scalable Framework for Distilling Video Datasets

📄 arXiv: 2505.20694v1 📥 PDF

作者: Xulin Gu, Xinhao Zhong, Zhixing Wei, Yimin Zhou, Shuoyang Sun, Bin Chen, Hongpeng Wang, Yuan Luo

分类: cs.CV, cs.LG

发布日期: 2025-05-27

💡 一句话要点

提出时序显著性引导的视频数据集蒸馏框架，实现高效视频数据压缩。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视频数据集蒸馏 时间显著性 数据集压缩 预训练模型 视频理解

📋 核心要点

  1. 现有视频数据集蒸馏方法计算成本高昂，且难以有效保留视频中的时间动态信息。
  2. 该论文提出一种单层视频数据集蒸馏框架，利用预训练模型直接优化合成视频，提升效率。
  3. 引入时间显著性引导的过滤机制，通过帧间差异保留关键时间信息，抑制冗余，实验结果SOTA。

📝 摘要（中文）

数据集蒸馏（DD）已成为一种强大的数据集压缩范例，能够合成紧凑的替代数据集，近似大规模数据集的训练效用。虽然图像数据集蒸馏已取得显著进展，但由于视频数据固有的高维度和时间复杂性，将DD扩展到视频领域仍然具有挑战性。现有的视频蒸馏（VD）方法通常计算成本过高，并且难以保留时间动态，因为基于图像方法的简单扩展通常会导致性能下降。本文提出了一种新颖的单层视频数据集蒸馏框架，该框架直接针对预训练模型优化合成视频。为了解决时间冗余并增强运动保留，我们引入了一种时间显著性引导的过滤机制，该机制利用帧间差异来指导蒸馏过程，鼓励保留信息丰富的时间线索，同时抑制帧级别的冗余。在标准视频基准上的大量实验表明，我们的方法实现了最先进的性能，弥合了真实视频数据和蒸馏视频数据之间的差距，并为视频数据集压缩提供了一种可扩展的解决方案。

🔬 方法详解

问题定义：现有的视频数据集蒸馏方法在处理视频数据时面临计算量大和时间信息丢失的问题。简单地将图像数据集蒸馏方法扩展到视频领域，无法有效捕捉视频中的时间动态信息，导致性能下降。因此，如何高效地蒸馏视频数据集，同时保留关键的时间信息，是一个重要的挑战。

核心思路：该论文的核心思路是利用预训练模型直接优化合成视频，并引入时间显著性引导的过滤机制。通过预训练模型，可以更好地评估合成视频的质量。时间显著性引导的过滤机制则可以帮助保留视频中重要的时间信息，同时减少冗余信息，从而提高蒸馏效率和性能。

技术框架：该框架主要包含以下几个步骤：1) 使用预训练模型提取视频特征；2) 基于帧间差异计算时间显著性；3) 利用时间显著性引导的过滤机制选择关键帧；4) 通过优化合成视频，使其在预训练模型上的表现接近真实视频。整个框架采用单层结构，简化了训练过程，提高了效率。

关键创新：该论文的关键创新在于提出了时间显著性引导的过滤机制。该机制能够有效地识别和保留视频中重要的时间信息，同时减少冗余信息。与传统的视频蒸馏方法相比，该方法能够更好地捕捉视频中的动态变化，从而提高蒸馏性能。

关键设计：时间显著性通过计算连续帧之间的差异来确定。差异较大的帧被认为是时间显著的，应该被保留。损失函数的设计旨在最小化合成视频和真实视频在预训练模型上的特征差异。具体的网络结构和参数设置根据不同的视频数据集和预训练模型进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该方法在多个标准视频数据集上取得了state-of-the-art的性能。实验结果表明，该方法能够有效地压缩视频数据集，同时保持较高的模型性能。与现有方法相比，该方法在性能和效率上均有显著提升，有效弥合了真实视频数据和蒸馏视频数据之间的差距。

🎯 应用场景

该研究成果可广泛应用于视频分析、视频检索、视频分类等领域。通过数据集蒸馏，可以大幅减少训练数据量，降低计算成本，加速模型训练。尤其是在资源受限的场景下，该方法具有重要的应用价值。未来，该方法有望进一步扩展到其他类型的时序数据处理任务中。

📄 摘要（原文）

Dataset distillation (DD) has emerged as a powerful paradigm for dataset compression, enabling the synthesis of compact surrogate datasets that approximate the training utility of large-scale ones. While significant progress has been achieved in distilling image datasets, extending DD to the video domain remains challenging due to the high dimensionality and temporal complexity inherent in video data. Existing video distillation (VD) methods often suffer from excessive computational costs and struggle to preserve temporal dynamics, as naïve extensions of image-based approaches typically lead to degraded performance. In this paper, we propose a novel uni-level video dataset distillation framework that directly optimizes synthetic videos with respect to a pre-trained model. To address temporal redundancy and enhance motion preservation, we introduce a temporal saliency-guided filtering mechanism that leverages inter-frame differences to guide the distillation process, encouraging the retention of informative temporal cues while suppressing frame-level redundancy. Extensive experiments on standard video benchmarks demonstrate that our method achieves state-of-the-art performance, bridging the gap between real and distilled video data and offering a scalable solution for video dataset compression.