GenOpticalFlow: A Generative Approach to Unsupervised Optical Flow Learning
作者: Yixuan Luo, Feng Qiao, Zhexiao Xiong, Yanjing Li, Nathan Jacobs
分类: cs.CV
发布日期: 2026-03-23
💡 一句话要点
GenOpticalFlow：提出一种生成式无监督光流学习框架，无需人工标注。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 光流估计 无监督学习 生成模型 深度估计 合成数据
📋 核心要点
- 现有光流估计方法依赖大量标注数据，无监督方法则受限于亮度恒定性等假设，在复杂场景下表现不佳。
- GenOpticalFlow利用预训练深度估计网络生成伪光流，并以此为条件生成后续帧，构建高质量合成数据集。
- 提出的不一致像素过滤策略能有效识别并去除生成帧中的噪声像素，提升模型在真实数据上的泛化能力。
📝 摘要（中文）
光流估计是计算机视觉中的一个基本问题，但对昂贵的ground-truth标注的依赖限制了监督方法的可扩展性。虽然无监督和半监督方法缓解了这个问题，但它们通常受到基于亮度恒定性和平滑性假设的不可靠监督信号的影响，导致在复杂的真实场景中运动估计不准确。为了克服这些限制，我们提出GenOpticalFlow，一种新颖的框架，用于合成大规模、完美对齐的帧-光流数据对，用于监督光流训练，无需人工标注。具体来说，我们的方法利用预训练的深度估计网络来生成伪光流，作为下一个帧生成模型的条件输入，该模型被训练以生成高保真、像素对齐的后续帧。这个过程能够创建大量高质量的合成数据，具有精确的运动对应关系。此外，我们提出了一种不一致像素过滤策略，用于识别和删除生成帧中不可靠的像素，从而有效地提高在真实数据集上的微调性能。在KITTI2012、KITTI2015和Sintel上的大量实验表明，GenOpticalFlow与现有的无监督和半监督方法相比，取得了有竞争力的或更优越的结果，突出了其作为一种可扩展且无标注的光流学习解决方案的潜力。代码将在接收后发布。
🔬 方法详解
问题定义：论文旨在解决光流估计中对大量标注数据的依赖问题。现有无监督方法依赖亮度恒定性等假设，在真实复杂场景下，这些假设往往不成立，导致光流估计精度下降。
核心思路：论文的核心思路是利用生成模型合成高质量的光流数据，从而避免人工标注。通过预训练的深度估计网络生成伪光流，并以此为条件，训练一个生成模型来生成后续帧。这样就可以得到大量带有精确光流信息的合成数据，用于训练光流估计网络。
技术框架：GenOpticalFlow框架主要包含两个阶段：数据生成阶段和光流估计训练阶段。在数据生成阶段，首先使用预训练的深度估计网络估计场景深度，然后根据深度信息生成伪光流。接着，将伪光流作为条件输入到帧生成模型中，生成后续帧。在光流估计训练阶段，使用生成的数据对光流估计网络进行训练。此外，还包含一个不一致像素过滤模块，用于去除生成图像中的噪声像素。
关键创新：最重要的技术创新点在于利用生成模型合成光流数据，从而摆脱了对人工标注数据的依赖。与传统的无监督方法相比，GenOpticalFlow生成的合成数据具有更高的质量和更精确的光流信息，从而能够训练出更准确的光流估计模型。
关键设计：帧生成模型采用U-Net结构，损失函数包括L1损失、感知损失和对抗损失，以保证生成图像的质量和真实感。不一致像素过滤模块通过计算像素的光流一致性来识别和去除噪声像素。具体而言，对于每个像素，计算其在不同帧之间的光流差异，如果差异超过阈值，则认为该像素为噪声像素。
🖼️ 关键图片
📊 实验亮点
在KITTI2012、KITTI2015和Sintel数据集上的实验结果表明，GenOpticalFlow在无监督光流估计任务上取得了显著的性能提升，与现有的无监督和半监督方法相比，达到了具有竞争力的甚至更优越的结果。例如，在KITTI2015数据集上，GenOpticalFlow的性能超过了多个已知的无监督方法。
🎯 应用场景
该研究成果可广泛应用于自动驾驶、机器人导航、视频监控等领域。高质量的光流估计是这些应用的关键技术之一。通过生成合成数据，可以降低对人工标注数据的需求，加速光流估计技术在实际场景中的应用。未来，该方法可以扩展到其他视觉任务，例如深度估计、三维重建等。
📄 摘要（原文）
Optical flow estimation is a fundamental problem in computer vision, yet the reliance on expensive ground-truth annotations limits the scalability of supervised approaches. Although unsupervised and semi-supervised methods alleviate this issue, they often suffer from unreliable supervision signals based on brightness constancy and smoothness assumptions, leading to inaccurate motion estimation in complex real-world scenarios. To overcome these limitations, we introduce \textbf{\modelname}, a novel framework that synthesizes large-scale, perfectly aligned frame--flow data pairs for supervised optical flow training without human annotations. Specifically, our method leverages a pre-trained depth estimation network to generate pseudo optical flows, which serve as conditioning inputs for a next-frame generation model trained to produce high-fidelity, pixel-aligned subsequent frames. This process enables the creation of abundant, high-quality synthetic data with precise motion correspondence. Furthermore, we propose an \textit{inconsistent pixel filtering} strategy that identifies and removes unreliable pixels in generated frames, effectively enhancing fine-tuning performance on real-world datasets. Extensive experiments on KITTI2012, KITTI2015, and Sintel demonstrate that \textbf{\modelname} achieves competitive or superior results compared to existing unsupervised and semi-supervised approaches, highlighting its potential as a scalable and annotation-free solution for optical flow learning. We will release our code upon acceptance.