CaRLi-V: Camera-RADAR-LiDAR Point-Wise 3D Velocity Estimation

📄 arXiv: 2511.01383v1 📥 PDF

作者: Landson Guo, Andres M. Diaz Aguilar, William Talbot, Turcan Tuna, Marco Hutter, Cesar Cadena

分类: cs.RO

发布日期: 2025-11-03

💡 一句话要点

CaRLi-V：提出相机-雷达-激光雷达融合的点云级三维速度估计方法

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知 (Perception & SLAM)

关键词: 三维速度估计 多传感器融合 雷达 激光雷达 相机 机器人 动态环境

📋 核心要点

  1. 现有方法难以准确估计动态环境中非刚性物体的点云级三维速度，这对于机器人与环境交互至关重要。
  2. CaRLi-V融合雷达、激光雷达和相机数据，利用雷达速度立方体提取径向速度，结合光流和激光雷达信息进行三维速度估计。
  3. CaRLi-V已开源，并在实际场景中验证，相较于ground truth，速度误差较低，适用于机器人应用。

📝 摘要（中文）

本文提出了一种新颖的雷达、激光雷达和相机融合的流水线，用于点云级三维速度估计，命名为CaRLi-V。该流水线利用原始雷达测量数据创建了一种新的雷达表示形式，即速度立方体，它密集地表示雷达视场内的径向速度。通过结合速度立方体进行径向速度提取、光流进行切向速度估计以及激光雷达进行点云级距离测量，我们的方法可以通过闭式解为密集的点阵生成三维速度估计。CaRLi-V作为一个开源ROS2软件包开发，已针对自定义数据集进行了现场测试，并证明相对于真实值产生较低的速度误差指标，从而为机器人应用实现点云级速度估计。

🔬 方法详解

问题定义：论文旨在解决动态环境中机器人与非刚性、动态物体（如人类）交互时，精确估计点云级三维速度的问题。现有方法在处理复杂环境和多种传感器数据融合方面存在不足，难以提供足够精确的速度估计，影响路径规划、避障和物体操作等任务的鲁棒性。

核心思路：论文的核心思路是融合雷达、激光雷达和相机三种传感器的数据，利用各自的优势互补。雷达提供径向速度信息，激光雷达提供精确的距离信息，相机提供图像信息用于光流估计。通过闭式解将这些信息融合，从而实现高精度的点云级三维速度估计。

技术框架：CaRLi-V的整体框架包含以下几个主要模块：1) 雷达数据处理：将原始雷达数据转换为速度立方体，密集表示径向速度。2) 光流估计：利用相机图像计算光流，估计切向速度。3) 激光雷达数据处理：获取点云的距离信息。4) 速度融合：通过闭式解，将径向速度、切向速度和距离信息融合，得到点云的三维速度估计。

关键创新：该方法最重要的创新点在于提出了速度立方体的概念，它有效地利用了雷达的原始测量数据，并将其转换为一种易于处理和融合的表示形式。此外，通过闭式解融合多种传感器数据，避免了复杂的优化过程，提高了计算效率。

关键设计：速度立方体的构建方式是关键设计之一，它需要根据雷达的参数（如分辨率、视场角）进行调整。闭式解的具体形式取决于所使用的坐标系和速度分解方式。论文中可能还涉及到一些滤波或平滑技术，以减少噪声的影响。具体的参数设置和损失函数（如果有）需要在论文中查找。

📊 实验亮点

CaRLi-V通过实验验证了其有效性，相较于ground truth，速度误差较低。论文中提到，该方法已在自定义数据集上进行了现场测试，证明了其在实际场景中的适用性。具体的性能数据（如均方根误差RMSE）需要在论文中查找。

🎯 应用场景

CaRLi-V在机器人导航、自动驾驶、人机交互等领域具有广泛的应用前景。精确的点云级速度估计可以提高机器人在动态环境中的感知能力，使其能够更安全、更有效地进行路径规划、避障和物体操作。该研究的开源实现也有助于推动相关领域的发展。

📄 摘要（原文）

Accurate point-wise velocity estimation in 3D is crucial for robot interaction with non-rigid, dynamic agents, such as humans, enabling robust performance in path planning, collision avoidance, and object manipulation in dynamic environments. To this end, this paper proposes a novel RADAR, LiDAR, and camera fusion pipeline for point-wise 3D velocity estimation named CaRLi-V. This pipeline leverages raw RADAR measurements to create a novel RADAR representation, the velocity cube, which densely represents radial velocities within the RADAR's field-of-view. By combining the velocity cube for radial velocity extraction, optical flow for tangential velocity estimation, and LiDAR for point-wise range measurements through a closed-form solution, our approach can produce 3D velocity estimates for a dense array of points. Developed as an open-source ROS2 package, CaRLi-V has been field-tested against a custom dataset and proven to produce low velocity error metrics relative to ground truth, enabling point-wise velocity estimation for robotic applications.