MegaFlow: Zero-Shot Large Displacement Optical Flow

📄 arXiv: 2603.25739v1 📥 PDF

作者: Dingxi Zhang, Fangjinhua Wang, Marc Pollefeys, Haofei Xu

分类: cs.CV

发布日期: 2026-03-26

备注: Project Page: https://kristen-z.github.io/projects/megaflow Code: https://github.com/cvg/megaflow

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

MegaFlow：提出一种零样本大位移光流估计方法，无需特定领域微调。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 光流估计 大位移 零样本学习 Vision Transformer 全局匹配

📋 核心要点

  1. 现有光流方法依赖迭代局部搜索或领域微调，难以处理大位移和零样本泛化。
  2. MegaFlow利用预训练Vision Transformer特征进行全局匹配，捕捉大位移，并进行轻量级迭代细化。
  3. 实验表明，MegaFlow在光流和点跟踪基准上实现了最先进的零样本性能，具有良好的迁移性。

📝 摘要（中文）

精确估计大位移光流仍然是一个关键挑战。现有方法通常依赖于迭代局部搜索和/或特定领域的微调，这严重限制了它们在大位移和零样本泛化场景中的性能。为了克服这些问题，我们提出了MegaFlow，一个简单而强大的零样本大位移光流模型。MegaFlow没有依赖于高度复杂、特定于任务的架构设计，而是利用预训练的视觉先验来生成时间上一致的运动场。特别地，我们通过利用预训练的全局Vision Transformer特征将光流估计公式化为一个全局匹配问题，这自然地捕获了大位移。随后，进行一些轻量级的迭代细化，以进一步提高亚像素精度。大量的实验表明，MegaFlow在多个光流基准测试中实现了最先进的零样本性能。此外，我们的模型还在长程点跟踪基准测试中提供了极具竞争力的零样本性能，证明了其强大的可迁移性，并提出了一个用于可泛化运动估计的统一范例。

🔬 方法详解

问题定义：现有光流估计方法，尤其是在处理大位移场景时，通常依赖于迭代局部搜索策略，这导致计算量大且容易陷入局部最优。此外，许多方法需要针对特定领域的数据进行微调，限制了其在未见过的场景中的泛化能力。因此，如何实现高效且具有良好泛化能力的大位移光流估计是一个关键问题。

核心思路：MegaFlow的核心思路是利用预训练的视觉Transformer模型所学习到的丰富的视觉先验知识，将光流估计问题转化为一个全局匹配问题。通过在全局范围内寻找对应关系，避免了局部搜索的局限性，从而能够更好地处理大位移情况。同时，利用预训练模型避免了对特定领域数据的依赖，提高了零样本泛化能力。

技术框架：MegaFlow的整体框架包括以下几个主要步骤：1) 特征提取：使用预训练的Vision Transformer模型从输入图像中提取全局特征。2) 全局匹配：基于提取的特征，在两帧图像之间进行全局匹配，得到初始的光流估计。3) 迭代细化：通过几个轻量级的迭代细化步骤，进一步提高光流的亚像素精度。

关键创新：MegaFlow的关键创新在于将预训练的视觉Transformer模型引入到光流估计任务中，并将其公式化为一个全局匹配问题。这种方法能够有效地利用预训练模型所学习到的视觉先验知识，从而实现更好的大位移处理能力和零样本泛化能力。与现有方法相比，MegaFlow避免了复杂的特定任务架构设计和领域微调，更加简洁高效。

关键设计：MegaFlow的关键设计包括：1) 使用预训练的Vision Transformer模型，例如DINO，作为特征提取器。2) 使用余弦相似度作为全局匹配的度量标准。3) 使用轻量级的迭代细化模块，例如基于卷积神经网络的FlowNetS架构，来提高亚像素精度。损失函数主要关注光流的平滑性和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MegaFlow在多个光流基准测试中取得了最先进的零样本性能。例如，在Sintel数据集上，MegaFlow显著优于现有的零样本方法。此外，MegaFlow还在长程点跟踪基准测试中表现出色，证明了其强大的可迁移性。这些实验结果表明，MegaFlow是一种有效且通用的运动估计方法。

🎯 应用场景

MegaFlow在机器人导航、自动驾驶、视频监控、增强现实等领域具有广泛的应用前景。它可以为机器人提供准确的运动估计，帮助自动驾驶系统理解场景中的物体运动，提高视频监控系统的目标跟踪能力，并为增强现实应用提供更逼真的视觉体验。该研究为通用运动估计提供了一种新的范式，具有重要的实际价值和潜在的未来影响。

📄 摘要（原文）

Accurate estimation of large displacement optical flow remains a critical challenge. Existing methods typically rely on iterative local search or/and domain-specific fine-tuning, which severely limits their performance in large displacement and zero-shot generalization scenarios. To overcome this, we introduce MegaFlow, a simple yet powerful model for zero-shot large displacement optical flow. Rather than relying on highly complex, task-specific architectural designs, MegaFlow adapts powerful pre-trained vision priors to produce temporally consistent motion fields. In particular, we formulate flow estimation as a global matching problem by leveraging pre-trained global Vision Transformer features, which naturally capture large displacements. This is followed by a few lightweight iterative refinements to further improve the sub-pixel accuracy. Extensive experiments demonstrate that MegaFlow achieves state-of-the-art zero-shot performance across multiple optical flow benchmarks. Moreover, our model also delivers highly competitive zero-shot performance on long-range point tracking benchmarks, demonstrating its robust transferability and suggesting a unified paradigm for generalizable motion estimation. Our project page is at: https://kristen-z.github.io/projects/megaflow.