Estimating 2D Camera Motion with Hybrid Motion Basis
作者: Haipeng Li, Tianhao Zhou, Zhanglei Yang, Yi Wu, Yan Chen, Zijing Mao, Shen Cheng, Bing Zeng, Shuaicheng Liu
分类: cs.CV
发布日期: 2025-07-30
备注: ICCV 2025
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
CamFlow：利用混合运动基估计2D相机运动，提升复杂场景鲁棒性
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 相机运动估计 混合运动基 光流估计 鲁棒性 零样本学习
📋 核心要点
- 现有方法在估计2D相机运动时，或局限于平面场景的单应性方法，或难以处理复杂非线性变换的网格光流技术。
- CamFlow的核心思想是结合不同单应性矩阵产生的流场，利用物理基和随机基的混合运动基来表示相机运动。
- 通过构建新的基准数据集并采用混合概率损失函数，CamFlow在各种场景中均优于现有方法，展现出更强的鲁棒性和泛化能力。
📝 摘要（中文）
本文提出了一种名为CamFlow的新框架，用于估计2D相机运动。该框架使用混合运动基表示相机运动，包括从相机几何推导出的物理基和用于复杂场景的随机基。CamFlow的关键在于结合不同单应性矩阵产生的流场，从而创建出单一单应性矩阵无法表示的运动模式。此外，本文还引入了一种基于拉普拉斯分布的混合概率损失函数，以增强训练的鲁棒性。为了评估性能，作者通过屏蔽现有光流数据集中的动态对象，构建了一个新的基准数据集，用于隔离纯相机运动。实验结果表明，CamFlow在各种场景中优于现有方法，在零样本设置中表现出卓越的鲁棒性和泛化能力。
🔬 方法详解
问题定义：论文旨在解决2D相机运动估计问题，即如何将3D相机运动投影到2D图像平面上。现有方法，如基于单应性的方法，仅适用于平面场景；而基于网格光流的方法，虽然使用局部单应性，但在处理复杂的非线性变换时表现不佳。这些方法无法充分捕捉真实世界中复杂的相机运动模式。
核心思路：论文的核心思路是使用混合运动基来表示相机运动。作者观察到，结合来自不同单应性矩阵的流场可以创建出单个单应性矩阵无法表示的运动模式。因此，他们提出使用物理基（从相机几何推导）和随机基（用于捕捉复杂场景）的组合来更全面地描述相机运动。
技术框架：CamFlow框架包含以下主要模块：首先，提取图像特征。然后，利用混合运动基模块，该模块由物理基和随机基组成，用于生成运动场。物理基基于相机几何参数，随机基通过学习得到。接下来，使用一个概率损失函数来优化运动基的参数，使其能够准确地预测相机运动。最后，将预测的运动场应用于图像，以实现相机运动补偿或估计。
关键创新：CamFlow的关键创新在于混合运动基的表示方法。与传统方法仅使用单一单应性或局部单应性不同，CamFlow结合了物理基和随机基，能够更灵活地捕捉各种复杂的相机运动模式。此外，混合概率损失函数也增强了训练的鲁棒性。
关键设计：CamFlow的关键设计包括：1) 物理基的构建，基于相机内参和外参，以及运动参数（如旋转和平移）。2) 随机基的设计，通常使用神经网络学习得到，以捕捉非线性运动模式。3) 混合概率损失函数，基于拉普拉斯分布，对异常值具有更强的鲁棒性。4) 新的评估基准，通过屏蔽动态对象，隔离纯相机运动，更准确地评估相机运动估计的性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，CamFlow在多个数据集上优于现有方法。特别是在零样本设置下，CamFlow表现出卓越的泛化能力。通过在新的基准数据集上进行评估，CamFlow证明了其在处理复杂相机运动和动态场景方面的优势。具体性能提升数据未知，但论文强调了其鲁棒性和泛化能力的显著提升。
🎯 应用场景
CamFlow在增强现实、虚拟现实、机器人导航、自动驾驶等领域具有广泛的应用前景。准确的相机运动估计是这些应用的关键组成部分。例如，在AR/VR中，它可以用于稳定视频流和增强用户体验；在机器人导航中，它可以帮助机器人理解周围环境并进行自主导航；在自动驾驶中，它可以用于构建环境地图和进行车辆定位。
📄 摘要（原文）
Estimating 2D camera motion is a fundamental computer vision task that models the projection of 3D camera movements onto the 2D image plane. Current methods rely on either homography-based approaches, limited to planar scenes, or meshflow techniques that use grid-based local homographies but struggle with complex non-linear transformations. A key insight of our work is that combining flow fields from different homographies creates motion patterns that cannot be represented by any single homography. We introduce CamFlow, a novel framework that represents camera motion using hybrid motion bases: physical bases derived from camera geometry and stochastic bases for complex scenarios. Our approach includes a hybrid probabilistic loss function based on the Laplace distribution that enhances training robustness. For evaluation, we create a new benchmark by masking dynamic objects in existing optical flow datasets to isolate pure camera motion. Experiments show CamFlow outperforms state-of-the-art methods across diverse scenarios, demonstrating superior robustness and generalization in zero-shot settings. Code and datasets are available at our project page: https://lhaippp.github.io/CamFlow/.