Seeing Fast and Slow: Learning the Flow of Time in Videos

📄 arXiv: 2604.21931v1 📥 PDF

作者: Yen-Siang Wu, Rundong Luo, Jingsen Zhu, Tao Tu, Ali Farhadi, Matthew Wallingford, Yu-Chiang Frank Wang, Steve Marschner, Wei-Chiu Ma

分类: cs.CV, cs.AI, cs.GR

发布日期: 2026-04-23

备注: Project page: https://seeing-fast-and-slow.github.io/

💡 一句话要点

提出时序流学习框架，实现视频时序感知的速度估计、控制与超分辨率重建。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频时间感知 自监督学习 慢动作视频 时间超分辨率 视频生成

📋 核心要点

  1. 现有视频研究较少关注时间流的感知与控制，缺乏对视频加速或减速的判断和生成能力。
  2. 提出一种时序流学习框架，通过自监督学习视频速度变化检测和播放速度估计，实现对视频时间流的理解。
  3. 构建了迄今为止最大的慢动作视频数据集，并在此基础上开发了时间控制模型，包括速度条件视频生成和时间超分辨率。

📝 摘要（中文）

本文将时间视为可学习的视觉概念，研究视频中时间流的感知和控制模型。首先，利用视频中自然存在的多模态线索和时间结构，以自监督方式学习检测速度变化和估计播放速度。然后，利用这些学习到的时间推理模型，从嘈杂的真实场景来源中整理出迄今为止最大的慢动作视频数据集。这些通常由高速摄像机拍摄的慢动作素材，包含比标准视频更丰富的时序细节。利用这些数据，进一步开发能够进行时间控制的模型，包括产生指定播放速度运动的速度条件视频生成，以及将低帧率、模糊视频转换为具有精细时间细节的高帧率序列的时间超分辨率。研究结果强调了时间是视频学习中可操作的感知维度，为时间可控的视频生成、时间取证检测以及可能更丰富的理解事件如何随时间展开的世界模型打开了大门。

🔬 方法详解

问题定义：现有方法缺乏对视频时间流的有效感知和控制能力，难以判断视频是否被加速或减速，也无法生成具有特定速度的视频。现有视频数据集缺乏高质量的慢动作视频，限制了相关研究的进展。

核心思路：将时间视为一个可学习的视觉概念，通过学习视频中的多模态线索和时间结构，建立时间与视觉内容之间的联系。利用自监督学习方法，从无标签视频中学习时间信息，避免了对大量人工标注数据的依赖。

技术框架：该方法包含三个主要阶段：1) 自监督速度估计：利用视频中的音频、文本等信息作为辅助，学习视频的播放速度。2) 慢动作数据集构建：利用学习到的速度估计模型，从互联网上自动筛选和整理慢动作视频。3) 时间控制模型训练：利用构建的慢动作数据集，训练速度条件视频生成模型和时间超分辨率模型。

关键创新：该方法的核心创新在于将时间视为一个可学习的视觉概念，并提出了一种自监督学习框架，能够从无标签视频中学习时间信息。此外，该方法还构建了一个大规模的慢动作视频数据集，为相关研究提供了宝贵的数据资源。

关键设计：在自监督速度估计阶段，使用了多模态融合的方法，将视频的视觉信息、音频信息和文本信息结合起来，以提高速度估计的准确性。在时间超分辨率阶段，使用了生成对抗网络（GAN）结构，以生成更逼真的高帧率视频。损失函数的设计考虑了时间一致性，以保证生成视频的流畅性。

📊 实验亮点

该论文构建了迄今为止最大的慢动作视频数据集，并在此基础上训练了速度条件视频生成模型和时间超分辨率模型。实验结果表明，该方法能够有效地估计视频的播放速度，生成具有特定速度的视频，以及将低帧率视频转换为高帧率视频，在多个指标上优于现有方法。

🎯 应用场景

该研究成果可应用于视频编辑、特效制作、时间取证分析等领域。例如，可以用于生成具有特定速度的视频，将低帧率视频转换为高帧率视频，以及检测视频是否被加速或减速。此外，该研究还有助于构建更丰富的世界模型，理解事件如何随时间展开。

📄 摘要（原文）

How can we tell whether a video has been sped up or slowed down? How can we generate videos at different speeds? Although videos have been central to modern computer vision research, little attention has been paid to perceiving and controlling the passage of time. In this paper, we study time as a learnable visual concept and develop models for reasoning about and manipulating the flow of time in videos. We first exploit the multimodal cues and temporal structure naturally present in videos to learn, in a self-supervised manner, to detect speed changes and estimate playback speed. We then show that these learned temporal reasoning models enable us to curate the largest slow-motion video dataset to date from noisy in-the-wild sources. Such slow-motion footage, typically filmed by high-speed cameras, contains substantially richer temporal detail than standard videos. Using this data, we further develop models capable of temporal control, including speed-conditioned video generation, which produces motion at specified playback speed, and temporal super-resolution, which tranforms low-FPS, blurry videos into high-FPS sequences with fine-grained temporal details. Our findings highlight time as a manipulable, perceptual dimension in video learning, opening doors to temporally controllable video generation, temporal forensics detection, and potentially richer world-models that understand how events unfold over time.