WildDepth-v2: A Synchronized RGB--LiDAR--Radar Dataset and Benchmark for Metric Depth, Motion, and Tracking of Wildlife

📄 arXiv: 2610.31123v1 📥 PDF

作者: Muhammad Aamir, Sangyun Shin, Naoya Muramatsu, Matthew Wijers, Amir Patel, Andrew Loveridge, Andrew Markham

分类: cs.CV

发布日期: 2026-10-22

💡 一句话要点

提出WildDepth-v2以解决野生动物运动测量的精度问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 野生动物监测 深度估计 多模态融合 雷达技术 生态研究

📋 核心要点

  1. 现有的野生动物监测方法在度量尺度和数据集的真实度量真值方面存在不足，影响了研究的准确性。
  2. WildDepth 2通过引入同步RGB-LiDAR和雷达数据，提供了更丰富的特征信息，提升了动物运动的度量精度。
  3. 实验表明，基于雷达的校准方法在3D位置误差上减少了四倍，且在距离采样检测偏差上也有显著改善。

📝 摘要（中文）

测量动物距离和运动的精确度对于种群估计、形态测量和运动生态学至关重要，但现有的单目视频缺乏度量尺度，野生动物数据集也缺乏度量真值。我们提出WildDepth 2，扩展了同步RGB-LiDAR WildDepth数据集，主要在三个方面进行改进：首先，增加了37个RGB-LiDAR-4D雷达序列，提供每点的多普勒速度；其次，建立了用于RGB距离估计和RGB+稀疏LiDAR深度补全的基准测试集；最后，通过LiDAR、雷达或单目深度提升2D轨迹，获得了度量3D轨迹。实验结果显示，基于雷达的校准显著提高了单目深度的准确性，并且在3D位置误差和检测偏差上均有显著改善。

🔬 方法详解

问题定义：本研究旨在解决现有野生动物监测方法在度量尺度和真实度量真值缺乏的问题，导致动物运动测量的准确性不足。

核心思路：通过引入同步的RGB、LiDAR和雷达数据，WildDepth 2能够提供更全面的环境信息，从而提升动物运动的度量精度。

技术框架：整体架构包括数据采集、数据处理和模型评估三个主要阶段。数据采集阶段使用RGB、LiDAR和雷达设备同步记录动物运动；数据处理阶段进行数据预处理和特征提取；模型评估阶段则通过基准测试集对模型性能进行评估。

关键创新：最重要的创新在于首次将成像雷达应用于野生动物监测，提供了每点的多普勒速度信息，显著提升了深度估计的准确性。

关键设计：在模型设计中，采用了基于雷达的校准方法，设置了特定的损失函数以优化深度估计，同时在参数设置上进行了细致调整，以确保模型在不同环境下的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基于雷达的校准方法在3D位置误差上减少了四倍，从2.20米降低至0.58米，同时距离采样检测偏差从-13%改善至-2%。此外，转移雷达多普勒信息至LiDAR后，运动掩膜的密度提高了3.7倍，精度达到72%。

🎯 应用场景

该研究的潜在应用领域包括野生动物监测、生态研究和环境保护等。通过提供更精确的动物运动数据，研究人员可以更好地理解动物行为和生态系统的动态变化，进而制定更有效的保护措施。未来，该技术也可能扩展到其他领域，如自动驾驶和智能监控系统。

📄 摘要（原文）

Measuring animal distance and motion in metric units underpins abundance estimation, morphometrics, and movement ecology, yet monocular video lacks metric scale and wildlife datasets lack metric ground truth. We present WildDepth 2, extending the synchronized RGB-LiDAR WildDepth dataset in three directions. (i) Imaging radar: 37 RGB-LiDAR-4D-radar sequences (19,716 frames) with per-point Doppler velocity and a measured error budget, to our knowledge the first imaging-radar wildlife recordings. (ii) Benchmarking: a frozen, checksummed hidden test set for RGB-only distance estimation and RGB+sparse-LiDAR depth completion, evaluated separately on animal and background pixels. (iii) Motion and tracking: metric 3D trajectories obtained by lifting 2D tracks using LiDAR, radar, or monocular depth. Across 48,723 animal frames, object-level radar calibration improves monocular depth over scene-level LiDAR calibration without requiring LiDAR at inference (AbsRel 0.120 vs. 0.198), although animal-level LiDAR remains more accurate (0.052). Across 431 tracks, once-per-track radar scaling reduces 3D position error four-fold (2.20 to 0.58 m) and distance-sampling detection-function bias from -13% to -2%, matching once-per-track LiDAR calibration. Transferring radar Doppler onto LiDAR produces motion masks 3.7 times denser than radar alone at 72% precision, reduces moving-animal LiDAR accumulation error by 37%, and estimates radial speed (r = 0.60), albeit with approximately 50% underestimation.