Neural Eulerian Scene Flow Fields

📄 arXiv: 2410.02031v3 📥 PDF

作者: Kyle Vedder, Neehar Peri, Ishan Khatri, Siyi Li, Eric Eaton, Mehmet Kocamaz, Yue Wang, Zhiding Yu, Deva Ramanan, Joachim Pehserl

分类: cs.CV

发布日期: 2024-10-02 (更新: 2025-12-04)

备注: Accepted to ICLR 2025. Winner of CVPR 2024 WoD Argoverse Scene Flow Challenge, Unsupervised Track. Project page at https://vedder.io/eulerflow

💡 一句话要点

EulerFlow：基于神经先验的连续时空ODE场景流估计

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 场景流估计 神经ODE 自监督学习 连续时空建模 运动预测

📋 核心要点

  1. 现有场景流方法难以在复杂动态场景中准确估计运动，尤其是在缺乏监督信息的情况下。
  2. EulerFlow将场景流建模为连续时空ODE，利用神经先验学习运动模式，并通过自监督方式优化。
  3. EulerFlow在多个数据集上表现出色，尤其在Argoverse 2挑战赛中大幅超越现有方法，展现了强大的泛化能力。

📝 摘要（中文）

本文将场景流问题重新定义为估计一个连续时空常微分方程(ODE)的任务，该方程描述了整个观测序列的运动，并用神经先验表示。提出的方法EulerFlow，通过优化这个神经先验估计，使其符合多个多观测重建目标，从而在真实世界数据上实现纯自监督的高质量场景流估计。EulerFlow无需调整即可在多个领域工作，包括大规模自动驾驶场景和动态桌面环境。值得注意的是，EulerFlow在鸟类和网球等小型快速移动物体上产生高质量的流估计，并通过求解其估计的ODE在长时间范围内表现出涌现的3D点跟踪行为。在Argoverse 2 2024场景流挑战赛中，EulerFlow优于所有现有技术，超过次优无监督方法2.5倍以上，甚至超过次优监督方法10%以上。

🔬 方法详解

问题定义：场景流估计旨在预测场景中每个像素或3D点的运动矢量。现有方法通常依赖于离散帧之间的匹配，难以处理遮挡、快速运动和缺乏纹理的区域。此外，无监督场景流方法的性能通常远低于监督方法，限制了其在实际应用中的潜力。

核心思路：EulerFlow的核心思想是将场景流建模为一个连续的时空过程，用常微分方程（ODE）描述场景中每个点的运动轨迹。通过学习一个神经先验来表示这个ODE，可以有效地捕捉场景的运动模式，并利用自监督重建目标进行优化。这种连续表示方法能够更好地处理遮挡和快速运动，并提高场景流估计的鲁棒性。

技术框架：EulerFlow的整体框架包括以下几个主要模块：1) 神经ODE表示：使用神经网络学习一个连续的时空ODE，该ODE描述了场景中每个点的运动速度。2) 多观测重建：利用多个时间步的观测数据，通过积分ODE来预测每个点的运动轨迹，并计算重建误差。3) 自监督优化：通过最小化重建误差来优化神经ODE的参数，从而学习场景的运动模式。

关键创新：EulerFlow的关键创新在于将场景流建模为一个连续的时空过程，并利用神经ODE来表示场景的运动模式。这种连续表示方法能够更好地处理遮挡和快速运动，并提高场景流估计的鲁棒性。此外，EulerFlow采用纯自监督的方式进行训练，无需任何人工标注，降低了训练成本。

关键设计：EulerFlow的关键设计包括：1) 神经ODE的结构：使用一个多层感知机（MLP）来表示神经ODE，该MLP的输入是空间位置和时间，输出是运动速度。2) 重建损失函数：使用光度一致性损失和几何一致性损失来约束重建误差。3) ODE积分方法：使用Runge-Kutta方法来积分ODE，从而预测每个点的运动轨迹。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EulerFlow在Argoverse 2 2024场景流挑战赛中取得了显著的成果，超越了所有现有方法。具体来说，EulerFlow的性能超过次优无监督方法2.5倍以上，甚至超过次优监督方法10%以上。这些结果表明，EulerFlow在场景流估计方面具有强大的竞争力，并为未来的研究提供了新的方向。

🎯 应用场景

EulerFlow在自动驾驶、机器人导航、视频编辑和增强现实等领域具有广泛的应用前景。它可以用于感知周围环境的运动，预测物体的轨迹，从而提高自动驾驶系统的安全性和可靠性。此外，EulerFlow还可以用于视频稳定、运动捕捉和三维重建等任务，为用户提供更丰富的视觉体验。

📄 摘要（原文）

We reframe scene flow as the task of estimating a continuous space-time ODE that describes motion for an entire observation sequence, represented with a neural prior. Our method, EulerFlow, optimizes this neural prior estimate against several multi-observation reconstruction objectives, enabling high quality scene flow estimation via pure self-supervision on real-world data. EulerFlow works out-of-the-box without tuning across multiple domains, including large-scale autonomous driving scenes and dynamic tabletop settings. Remarkably, EulerFlow produces high quality flow estimates on small, fast moving objects like birds and tennis balls, and exhibits emergent 3D point tracking behavior by solving its estimated ODE over long-time horizons. On the Argoverse 2 2024 Scene Flow Challenge, EulerFlow outperforms all prior art, surpassing the next-best unsupervised method by more than 2.5x, and even exceeding the next-best supervised method by over 10%.