UFD-PRiME: Unsupervised Joint Learning of Optical Flow and Stereo Depth through Pixel-Level Rigid Motion Estimation

📄 arXiv: 2310.04712v1 📥 PDF

作者: Shuai Yuan, Carlo Tomasi

分类: cs.CV, cs.RO

发布日期: 2023-10-07

💡 一句话要点

提出UFD-PRiME以解决光流与立体深度联合学习问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 光流估计 立体深度 无监督学习 刚性运动 动态物体

📋 核心要点

  1. 现有方法主要关注相机运动，忽略了动态物体的刚性运动，导致光流估计不够准确。
  2. 本研究提出了一个无监督的框架，通过联合学习光流和立体深度，利用几何信息提升光流估计的精度。
  3. 在KITTI-2015基准测试中，所提方法的光流误差为7.36%，显著优于之前的最优结果，且立体深度结果表现良好。

📝 摘要（中文）

本论文提出了一种无监督的联合学习框架UFD-PRiME，用于同时估计光流和立体深度。该方法通过像素级刚性运动估计，利用几何信息提升光流质量。第一部分网络联合估计光流和深度，第二部分网络基于第一部分的光流伪标签，进一步估计每个像素的3D刚性运动并重建光流。最终阶段融合两个网络的输出。实验结果表明，该方法在KITTI-2015基准上实现了7.36%的光流误差，显著优于之前的9.38%的最优结果，同时在立体深度上也表现出色。

🔬 方法详解

问题定义：本论文旨在解决光流和立体深度估计的联合学习问题，现有方法多集中于相机运动，未能有效处理动态物体的运动，导致光流估计的准确性不足。

核心思路：提出的UFD-PRiME框架通过无监督学习，联合估计光流和立体深度，利用几何信息来提升光流的质量，特别是在处理动态物体时。

技术框架：整体架构分为两个主要网络。第一个网络同时估计光流和立体深度，第二个网络利用第一个网络的光流作为伪标签，进一步估计每个像素的3D刚性运动，并重建光流。最后一个阶段融合两个网络的输出。

关键创新：本研究的创新在于同时考虑动态物体的刚性运动，超越了以往仅关注相机运动的方法，从而在光流估计中实现了更高的精度和更清晰的遮挡与物体边界。

关键设计：在网络设计中，采用了特定的损失函数来优化光流和深度的联合估计，确保了模型在无监督条件下的有效学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，UFD-PRiME在KITTI-2015基准上实现了7.36%的光流误差，相较于之前的最优结果9.38%有显著提升。此外，在立体深度估计上也表现出色，展现了该方法的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和视频监控等场景。通过提高光流和深度估计的准确性，能够为动态环境中的物体识别和跟踪提供更可靠的支持，进而推动智能系统的自主决策能力。

📄 摘要（原文）

Both optical flow and stereo disparities are image matches and can therefore benefit from joint training. Depth and 3D motion provide geometric rather than photometric information and can further improve optical flow. Accordingly, we design a first network that estimates flow and disparity jointly and is trained without supervision. A second network, trained with optical flow from the first as pseudo-labels, takes disparities from the first network, estimates 3D rigid motion at every pixel, and reconstructs optical flow again. A final stage fuses the outputs from the two networks. In contrast with previous methods that only consider camera motion, our method also estimates the rigid motions of dynamic objects, which are of key interest in applications. This leads to better optical flow with visibly more detailed occlusions and object boundaries as a result. Our unsupervised pipeline achieves 7.36% optical flow error on the KITTI-2015 benchmark and outperforms the previous state-of-the-art 9.38% by a wide margin. It also achieves slightly better or comparable stereo depth results. Code will be made available.