I Have a Stream: Making Self-Supervised Learning Work on Continuous Video

📄 arXiv: 2609.40333v1 📥 PDF

作者: Ivan Martinović, Lukas Knobel, Yuki M. Asano

分类: cs.CV

发布日期: 2026-09-30

备注: Preprint. Accepted to NeurIPS 2026

💡 一句话要点

提出StreamMAE以解决连续视频自监督学习中的高相似性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 连续视频学习 自监督学习 滑动窗口 运动偏置 MAE 视频数据集 深度学习

📋 核心要点

  1. 现有自监督学习方法在处理连续视频流时，面临高批内相似性导致的性能瓶颈。
  2. 论文提出StreamMAE，通过流感知正则化和运动偏置裁剪选择，优化MAE的输入管道。
  3. 实验结果表明，StreamMAE在流基线中表现优越，且在扩展预训练流时性能持续提升。

📝 摘要（中文）

自监督学习受到婴儿视觉发展的启发，但现有训练流程与之相去甚远：图像独立采样并在多个周期中全局打乱。本文研究了连续视频流中的自监督学习，采用严格的滑动窗口批次顺序消费帧，避免全局重排或多周期重放。为此，构建了WT++数据集，并发现对比和蒸馏方法在此设置下表现不佳，而MAE方法更为稳健，但仍未达到标准的独立同分布预训练水平。主要挑战在于高批内相似性，导致每个批次中的帧几乎重复。为此，提出StreamMAE，保留MAE重建目标，同时通过流感知正则化和运动偏置裁剪选择调整输入管道。StreamMAE在流基线中表现优越，与在相同视频数据上训练的i.i.d. MAE相匹配，并在预训练流从12小时扩展到95小时时表现出积极的扩展性。

🔬 方法详解

问题定义：本文旨在解决在连续视频流中进行自监督学习时，由于高批内相似性导致的性能下降问题。现有方法在处理视频数据时，通常采用全局打乱的方式，无法有效利用视频的时序信息。

核心思路：论文提出StreamMAE，旨在保留MAE的重建目标，同时通过流感知正则化和运动偏置裁剪选择来优化输入管道，减少批内帧的相似性。这样的设计使得模型能够更好地捕捉视频流中的动态信息。

技术框架：StreamMAE的整体架构包括数据预处理模块、流感知正则化模块和重建损失计算模块。数据预处理模块负责滑动窗口批次的生成，流感知正则化模块通过引入运动信息来调整输入，重建损失计算模块则用于优化模型性能。

关键创新：StreamMAE的主要创新在于引入流感知正则化和运动偏置裁剪选择，这与传统的全局打乱方法形成鲜明对比，使得模型能够更有效地学习视频中的时序特征。

关键设计：在关键设计方面，StreamMAE采用了特定的损失函数来平衡重建目标与正则化目标，同时在网络结构上进行了优化，以适应视频流的特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，StreamMAE在流基线中表现优越，能够与在相同视频数据上训练的i.i.d. MAE相匹配，并在预训练流从12小时扩展到95小时时，性能持续提升，证明了其有效性和扩展性。

🎯 应用场景

该研究的潜在应用领域包括视频分析、行为识别和自动驾驶等场景。通过提高自监督学习在连续视频流中的表现，StreamMAE可以为实时视频处理和理解提供更强大的技术支持，推动相关领域的发展。

📄 摘要（原文）

Self-supervised learning draws inspiration from infant visual development, yet standard training pipelines bear little resemblance to it: images are independently sampled and globally shuffled across epochs. We study self-supervised learning from continuous video streams, where frames are consumed in temporal order using strict sliding-window batches, without global reshuffling or multi-epoch replay. To this end, we construct WT++, a 95-hour urban walking-tour video dataset for streaming pretraining. Combined with a comprehensive evaluation suite we find that contrastive and distillation-based methods struggle in this setting, while MAE is more robust but still falls short of standard i.i.d. pretraining. We find that high inter-batch similarity, caused by sliding-window consumption across consecutive batches, does not explain this gap. The main challenge is high intra-batch similarity, where frames within each batch are near-duplicates. To mitigate this, we propose StreamMAE, which preserves the core MAE reconstruction objective while adapting the input pipeline with stream-aware regularization and motion-biased crop selection. StreamMAE outperforms streaming baselines, matches i.i.d. MAE trained on the same video data, remains competitive with ImageNet-pretrained MAE, and scales positively as the pretraining stream grows from 12 to 95 hours.