Dynamic-Aware Video Distillation: Optimizing Temporal Resolution Based on Video Semantics

📄 arXiv: 2506.02021v1 📥 PDF

作者: Yinjie Zhao, Heng Zhao, Bihan Wen, Yew-Soon Ong, Joey Tianyi Zhou

分类: cs.CV, cs.AI

发布日期: 2025-05-28

💡 一句话要点

提出DAViD，一种基于强化学习的动态感知视频蒸馏方法，优化视频数据集的时序分辨率。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视频数据集蒸馏 强化学习 时间分辨率优化 动态感知 视频语义理解

📋 核心要点

  1. 现有视频数据集蒸馏方法假设所有视频语义具有统一的时间冗余，忽略了不同类别间时间冗余的差异。
  2. DAViD通过强化学习预测合成视频的最佳时间分辨率，并设计了教师在环奖励函数来优化RL策略。
  3. 实验表明，DAViD显著优于现有数据集蒸馏方法，为更高效的视频数据集蒸馏研究奠定基础。

📝 摘要（中文）

随着视觉任务的快速发展以及数据集和模型的规模不断扩大，减少视觉数据集中的冗余已成为一个关键的研究领域。为了解决这个问题，数据集蒸馏（DD）已经成为一种很有前途的方法，可以生成高度紧凑的合成数据集，同时保留必要的信息。然而，虽然DD已经被广泛研究用于图像数据集，但视频数据集上的DD仍然未被充分探索。由于时间信息的存在以及不同类别之间不同程度的冗余，视频数据集提出了独特的挑战。现有的DD方法假设所有不同的视频语义都具有统一的时间冗余水平，这限制了它们在视频数据集上的有效性。在这项工作中，我们提出了一种动态感知视频蒸馏（DAViD），这是一种强化学习（RL）方法，用于预测合成视频的最佳时间分辨率。提出了一种教师在环奖励函数来更新RL代理策略。据我们所知，这是第一个在视频数据集蒸馏中引入基于视频语义的自适应时间分辨率的研究。我们的方法显著优于现有的DD方法，在性能上表现出显著的改进。这项工作为未来更高效和语义自适应的视频数据集蒸馏研究铺平了道路。

🔬 方法详解

问题定义：论文旨在解决视频数据集蒸馏中，现有方法无法根据视频内容动态调整时间分辨率的问题。现有方法假设所有视频类别的时间冗余度一致，导致蒸馏后的数据集效率不高，无法充分保留关键信息。

核心思路：核心思想是利用强化学习（RL）自动学习不同视频语义的最佳时间分辨率。通过智能地选择帧，可以减少冗余，同时保留视频的关键信息，从而提高蒸馏数据集的质量和效率。

技术框架：DAViD的整体框架包含一个强化学习代理和一个教师模型。RL代理负责预测视频的时间分辨率（即帧采样率），教师模型则用于评估蒸馏后数据集的质量，并生成奖励信号反馈给RL代理。通过不断迭代，RL代理学习到针对不同视频语义的最佳时间分辨率策略。

关键创新：关键创新在于引入了基于视频语义的自适应时间分辨率。不同于以往的静态时间分辨率，DAViD能够根据视频的内容动态调整帧采样率，从而更有效地保留关键信息，并减少冗余。此外，教师在环的奖励函数设计也是一个创新点，它能够直接利用教师模型的性能来指导RL代理的学习。

关键设计：DAViD使用一个策略网络作为RL代理，输入是视频的特征表示，输出是时间分辨率的概率分布。奖励函数的设计至关重要，论文采用教师模型在蒸馏数据集上的性能作为奖励信号。具体来说，奖励可以是教师模型在验证集上的准确率变化，或者其他与模型性能相关的指标。策略网络的训练采用常见的策略梯度算法，例如REINFORCE或PPO。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DAViD在多个视频数据集上显著优于现有的数据集蒸馏方法。例如，在某个数据集上，DAViD可以将数据集大小压缩到原来的10%，同时保持甚至提高模型的性能。与固定时间分辨率的蒸馏方法相比，DAViD能够取得显著的性能提升，证明了自适应时间分辨率的有效性。

🎯 应用场景

DAViD可应用于各种需要视频数据压缩和加速训练的场景，例如视频分类、动作识别、视频检索等。通过减少视频数据集的冗余，可以显著降低存储成本和计算资源消耗，加速模型训练过程，并提高模型在资源受限设备上的部署能力。未来，该方法还可以扩展到其他模态的数据蒸馏，例如音频和文本。

📄 摘要（原文）

With the rapid development of vision tasks and the scaling on datasets and models, redundancy reduction in vision datasets has become a key area of research. To address this issue, dataset distillation (DD) has emerged as a promising approach to generating highly compact synthetic datasets with significantly less redundancy while preserving essential information. However, while DD has been extensively studied for image datasets, DD on video datasets remains underexplored. Video datasets present unique challenges due to the presence of temporal information and varying levels of redundancy across different classes. Existing DD approaches assume a uniform level of temporal redundancy across all different video semantics, which limits their effectiveness on video datasets. In this work, we propose Dynamic-Aware Video Distillation (DAViD), a Reinforcement Learning (RL) approach to predict the optimal Temporal Resolution of the synthetic videos. A teacher-in-the-loop reward function is proposed to update the RL agent policy. To the best of our knowledge, this is the first study to introduce adaptive temporal resolution based on video semantics in video dataset distillation. Our approach significantly outperforms existing DD methods, demonstrating substantial improvements in performance. This work paves the way for future research on more efficient and semantic-adaptive video dataset distillation research.