SF3D-RGB: Scene Flow Estimation from Monocular Camera and Sparse LiDAR

📄 arXiv: 2602.21699v1 📥 PDF

作者: Rajai Alhimdiat, Ramy Battrawy, René Schuster, Didier Stricker, Wesam Ashour

分类: cs.CV

发布日期: 2026-02-25

备注: Accepted in Computer Vision Conference (CVC) 2026

💡 一句话要点

SF3D-RGB：单目相机与稀疏LiDAR融合的场景流估计方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 场景流估计 多模态融合 单目视觉 LiDAR 深度学习 图匹配 自动驾驶

📋 核心要点

  1. 现有场景流估计方法通常依赖单一模态（图像或LiDAR），鲁棒性受限，难以充分利用多源信息。
  2. SF3D-RGB通过深度学习融合单目图像和稀疏LiDAR数据，利用图匹配和残差细化模块提升场景流估计精度。
  3. 实验表明，该方法在真实数据集上优于单模态方法，并在精度和效率之间取得了更好的平衡。

📝 摘要（中文）

本文提出了一种名为SF3D-RGB的深度学习架构，用于从单目相机图像和稀疏LiDAR点云中估计场景流。该模型是一个端到端的架构，首先将来自每种模态的信息编码成特征，然后将它们融合在一起。融合后的特征增强了一个图匹配模块，以实现更好、更鲁棒的映射矩阵计算，从而生成初始场景流。最后，一个残差场景流模块进一步细化初始场景流。该模型旨在平衡精度和效率。实验表明，该方法优于单模态方法，并在真实世界数据集上实现了更好的场景流精度，同时与其它融合的state-of-the-art方法相比，使用的参数更少。

🔬 方法详解

问题定义：论文旨在解决如何有效融合单目相机图像和稀疏LiDAR点云数据，以提升场景流估计的精度和鲁棒性的问题。现有方法要么依赖单一模态，要么融合效果不佳，无法充分利用两种模态的互补信息。

核心思路：论文的核心思路是设计一个端到端的深度学习模型，该模型能够有效地提取和融合来自图像和LiDAR数据的特征，并利用图匹配和残差细化模块来生成精确的场景流估计。通过融合两种模态的信息，可以克服单一模态的局限性，提高场景流估计的鲁棒性。

技术框架：SF3D-RGB的整体架构包含以下几个主要模块：1) 特征编码模块：分别从单目图像和稀疏LiDAR点云中提取特征；2) 特征融合模块：将两种模态的特征进行融合，生成融合特征；3) 图匹配模块：利用融合特征计算映射矩阵，生成初始场景流；4) 残差场景流模块：进一步细化初始场景流，提高精度。

关键创新：该方法的主要创新在于：1) 提出了一种有效的多模态特征融合方法，能够充分利用图像和LiDAR数据的互补信息；2) 利用图匹配模块来建立点云之间的对应关系，从而生成初始场景流；3) 引入残差场景流模块来进一步细化初始场景流，提高精度。

关键设计：在特征编码模块中，可以使用不同的卷积神经网络结构来提取图像和点云的特征。在特征融合模块中，可以使用不同的融合策略，例如拼接、加权平均等。图匹配模块可以使用不同的图匹配算法，例如Sinkhorn算法。残差场景流模块可以使用不同的卷积神经网络结构来细化初始场景流。损失函数的设计也至关重要，可以采用L1损失、L2损失等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SF3D-RGB在真实世界数据集上优于单模态方法，并在精度和效率之间取得了更好的平衡。具体而言，该方法在场景流估计精度上取得了显著提升，同时使用的参数量少于其他融合的state-of-the-art方法。这些结果表明，该方法能够有效地融合图像和LiDAR数据，并生成精确的场景流估计。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人导航、增强现实等领域。精确的场景流估计能够帮助自动驾驶系统更好地理解周围环境的动态变化，从而做出更安全、更合理的决策。在机器人导航中，场景流估计可以帮助机器人识别和避开移动的障碍物。在增强现实中，场景流估计可以用于将虚拟物体与真实场景进行更自然的融合。

📄 摘要（原文）

Scene flow estimation is an extremely important task in computer vision to support the perception of dynamic changes in the scene. For robust scene flow, learning-based approaches have recently achieved impressive results using either image-based or LiDAR-based modalities. However, these methods have tended to focus on the use of a single modality. To tackle these problems, we present a deep learning architecture, SF3D-RGB, that enables sparse scene flow estimation using 2D monocular images and 3D point clouds (e.g., acquired by LiDAR) as inputs. Our architecture is an end-to-end model that first encodes information from each modality into features and fuses them together. Then, the fused features enhance a graph matching module for better and more robust mapping matrix computation to generate an initial scene flow. Finally, a residual scene flow module further refines the initial scene flow. Our model is designed to strike a balance between accuracy and efficiency. Furthermore, experiments show that our proposed method outperforms single-modality methods and achieves better scene flow accuracy on real-world datasets while using fewer parameters compared to other state-of-the-art methods with fusion.