Test-Time Adaptation via Dual Distillation for Videos Under Severe Distribution Shifts

📄 arXiv: 2607.24611v1 📥 PDF

作者: André Sacilotti, Samuel Felipe dos Santos, Jurandy Almeida

分类: cs.CV

发布日期: 2026-07-27

💡 一句话要点

提出双蒸馏的测试时适应方法以应对视频中的严重分布偏移问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视频动作识别 测试时适应 双蒸馏 领域适应 深度学习

📋 核心要点

  1. 现有的测试时适应方法在处理视频等连续、时间相关数据时，面对严重的领域偏移时效果不佳。
  2. 本文提出的双蒸馏测试时适应框架，通过轻量级投影适配器和互补损失实现动态适应。
  3. 在UCF-HMDB、Daily-DA和Sports-DA等视频动作识别基准上，TADD方法在性能上显著优于现有的TTA基线，提升幅度达到+3.81%。

📝 摘要（中文）

深度学习模型在多个计算机视觉任务中取得了最先进的性能。然而，当应用于现实场景时，由于未预见的分布偏移，性能会严重下降。测试时适应（TTA）旨在通过使用目标领域的未标记数据在推理时动态适应测试分布，但在处理连续、时间相关的数据（如视频）时仍面临挑战。为此，本文提出了基于双蒸馏的测试时适应框架（TADD），通过轻量级投影适配器来弥合领域差距。该适配器模块在源领域上进行预训练，然后使用零样本蒸馏和目标蒸馏的互补损失进行适应。实验结果表明，TADD在多个视频动作识别基准上超越了现有的TTA基线。

🔬 方法详解

问题定义：本文旨在解决在严重分布偏移情况下，深度学习模型在视频数据上的性能下降问题。现有的测试时适应方法在处理连续、时间相关的数据时，适应能力不足，导致效果不理想。

核心思路：提出的双蒸馏测试时适应框架（TADD）通过轻量级投影适配器来弥合源领域与目标领域之间的差距。该适配器在源领域预训练后，通过零样本蒸馏和目标蒸馏的互补损失进行动态适应。

技术框架：整体架构包括一个冻结的CLIP主干和一个可更新的轻量级投影适配器。适配器在推理过程中作为唯一可更新的组件，通过互补损失进行训练。

关键创新：最重要的创新点在于引入了零样本蒸馏和目标蒸馏的互补损失，这一设计使得模型能够在没有源数据的情况下有效适应目标领域。与现有方法相比，TADD在处理视频数据时表现出更强的适应能力。

关键设计：在损失函数设计上，采用了零样本蒸馏以促进与预训练视觉-语言模型的领域无关特征对齐，同时使用目标蒸馏保留源领域的判别知识。适配器模块的轻量化设计使其在推理时高效更新。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在UCF-HMDB、Daily-DA和Sports-DA等视频动作识别基准上，TADD方法在闭集场景中表现出色，分别提升了+3.81%、+2.63%和+3.03%的准确率，显著优于现有的TTA基线，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括视频监控、自动驾驶、体育分析等场景，能够在实际应用中提高模型在动态环境下的适应能力，提升系统的智能化水平。未来，该方法有望推广到更多需要实时适应的计算机视觉任务中。

📄 摘要（原文）

Deep learning models have achieved state-of-the-art performance in several computer vision tasks. However, they experience severe performance degradation when applied to real-world scenarios due to unanticipated distribution shifts. Test-Time Adaptation (TTA) attempts to solve this problem by using unlabeled data from the target domain to dynamically adapt to the test distribution at inference time, without access to the source data. However, TTA remains a challenging problem when adapting to continuous, temporally correlated data, such as videos, and in scenarios where the target domain contains severe domain shifts. For this reason, few works in the literature explore TTA for videos under such extreme conditions. To overcome these limitations, we propose Test-time Adaptation via Dual Distillation (TADD), an online adaptation framework that relies on a lightweight projection adapter to bridge the domain gap. The adapter module is pre-trained on the source domain and then adapted to the target using our proposed complementary losses: (i) zero-shot distillation, which encourages alignment with the domain-agnostic features from a pre-trained vision-language model (VLM); and (ii) target distillation, which retains the source domain discriminative knowledge encoded in the pre-trained adapter. Built upon a frozen CLIP backbone, our method introduces this lightweight projection adapter as the sole updatable component during inference. We conducted extensive evaluations on three well-known video action recognition benchmarks: UCF-HMDB, Daily-DA, and Sports-DA. Our experiments in the closed-set scenario demonstrate that our method consistently outperforms state-of-the-art TTA baselines. Notably, our TTA approach improves upon previous methods by up to +3.81% on UCF-HMDB, +2.63% on Daily-DA, and +3.03% on Sports-DA.