Flow4D: Leveraging 4D Voxel Network for LiDAR Scene Flow Estimation

📄 arXiv: 2407.07995v1 📥 PDF

作者: Jaeyeul Kim, Jungwan Woo, Ukcheol Shin, Jean Oh, Sunghoon Im

分类: cs.CV

发布日期: 2024-07-10

备注: 8 pages, 4 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出Flow4D以解决LiDAR场景流估计中的时空特征提取问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: LiDAR 场景流 时空特征 4D卷积 自主驾驶 机器人导航 智能交通 性能提升

📋 核心要点

  1. 现有的LiDAR场景流方法在时空特征提取上存在不足，尤其是在处理Z轴空间信息和时间上下文时表现不佳。
  2. Flow4D通过在3D体素特征编码器后进行多点云的时间融合，利用4D体素网络显式提取时空特征，克服了传统方法的局限。
  3. 实验结果表明，Flow4D在实时运行中性能提升了45.9%，并在2024 Argoverse 2场景流挑战赛中获得第一名，展示了其有效性。

📝 摘要（中文）

理解周围环境的运动状态对于安全的自主驾驶至关重要。这些运动状态可以通过场景流准确推导，场景流捕捉了点的三维运动场。现有的LiDAR场景流方法从每个点云中提取空间特征，然后进行通道融合，导致时空特征的隐式提取。此外，它们仅利用2D鸟瞰图和处理两个帧，缺失了Z轴的空间信息和更广泛的时间上下文，导致性能不佳。为了解决这些局限性，我们提出了Flow4D，该方法在3D体素特征编码器之后对多个点云进行时间融合，从而通过4D体素网络更明确地提取时空特征。尽管使用4D卷积提高了性能，但显著增加了计算负担。为进一步提高效率，我们引入了时空分解块（STDB），结合3D和1D卷积，而不是使用重的4D卷积。此外，Flow4D通过使用五帧进一步提高性能，以利用更丰富的时间信息。最终，该方法在实时运行的情况下相比于最先进的方法提高了45.9%的性能，并在2024 Argoverse 2场景流挑战赛中获得第一名。

🔬 方法详解

问题定义：本论文旨在解决LiDAR场景流估计中时空特征提取不足的问题。现有方法主要依赖于2D鸟瞰图和仅处理两个帧，导致Z轴空间信息和时间上下文的缺失，从而影响性能。

核心思路：Flow4D的核心思路是通过在3D体素特征编码器之后进行多点云的时间融合，利用4D体素网络显式提取时空特征。这种设计旨在充分利用多帧数据，以提高对运动状态的理解。

技术框架：Flow4D的整体架构包括三个主要模块：首先是3D体素特征编码器，其次是时空分解块（STDB），最后是4D卷积层。STDB结合了3D和1D卷积，以减少计算负担，同时保持性能。

关键创新：Flow4D的主要创新在于引入了时空分解块（STDB），通过结合3D和1D卷积来替代重的4D卷积，从而在提高性能的同时降低计算复杂度。这一设计与现有方法的本质区别在于更高效的时空特征提取。

关键设计：在网络结构上，Flow4D采用了多帧输入，具体使用五帧数据以获取更丰富的时间信息。此外，损失函数的设计也针对时空特征的准确性进行了优化，以确保模型的有效训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Flow4D在实验中实现了比最先进的方法高出45.9%的性能提升，并且能够实时运行。这一成果不仅展示了其在场景流估计中的有效性，还在2024 Argoverse 2场景流挑战赛中获得了第一名，验证了其优越性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和智能交通系统等。通过准确估计周围环境的运动状态，Flow4D能够为自主系统提供更可靠的决策支持，从而提高安全性和效率。未来，该技术可能在更广泛的动态环境中得到应用，推动智能交通的发展。

📄 摘要（原文）

Understanding the motion states of the surrounding environment is critical for safe autonomous driving. These motion states can be accurately derived from scene flow, which captures the three-dimensional motion field of points. Existing LiDAR scene flow methods extract spatial features from each point cloud and then fuse them channel-wise, resulting in the implicit extraction of spatio-temporal features. Furthermore, they utilize 2D Bird's Eye View and process only two frames, missing crucial spatial information along the Z-axis and the broader temporal context, leading to suboptimal performance. To address these limitations, we propose Flow4D, which temporally fuses multiple point clouds after the 3D intra-voxel feature encoder, enabling more explicit extraction of spatio-temporal features through a 4D voxel network. However, while using 4D convolution improves performance, it significantly increases the computational load. For further efficiency, we introduce the Spatio-Temporal Decomposition Block (STDB), which combines 3D and 1D convolutions instead of using heavy 4D convolution. In addition, Flow4D further improves performance by using five frames to take advantage of richer temporal information. As a result, the proposed method achieves a 45.9% higher performance compared to the state-of-the-art while running in real-time, and won 1st place in the 2024 Argoverse 2 Scene Flow Challenge. The code is available at https://github.com/dgist-cvlab/Flow4D.