WildDepth: A Multimodal Dataset for 3D Wildlife Perception and Depth Estimation

📄 arXiv: 2603.16816v1 📥 PDF

作者: Muhammad Aamir, Naoya Muramatsu, Sangyun Shin, Matthew Wijers, Jiaxing Jhong, Xinyu Hou, Amir Patel, Andrew Markham

分类: cs.CV, cs.DL

发布日期: 2026-03-17

💡 一句话要点

WildDepth：用于3D野生动物感知和深度估计的多模态数据集

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态数据集 深度估计 3D重建 野生动物感知 RGB-LiDAR融合

📋 核心要点

  1. 现有动物深度估计模型大多基于缺乏度量尺度的非真实世界数据集训练，限制了模型的泛化能力和真实场景应用。
  2. WildDepth数据集通过同步采集RGB图像和LiDAR数据，为动物的深度估计、行为检测和3D重建提供多模态数据支持。
  3. 实验表明，多模态数据融合能显著提升深度估计的可靠性和3D重建的保真度，为野生动物感知提供更准确的信息。

📝 摘要（中文）

本文提出了WildDepth，一个多模态数据集和基准测试套件，用于深度估计、行为检测和3D重建。该数据集涵盖了从家养到野生环境的各种动物，并同步采集了RGB图像和LiDAR数据。现有模型大多基于缺乏度量尺度的动物数据集进行训练，这限制了仅使用图像模型的验证。实验结果表明，使用多模态数据可将深度可靠性提高高达10% RMSE，而RGB-LiDAR融合可将3D重建保真度提高12%（Chamfer距离）。通过发布WildDepth及其基准，旨在促进能够跨领域泛化的鲁棒多模态感知系统。

🔬 方法详解

问题定义：现有的动物深度估计模型，特别是针对野生动物的，通常缺乏真实世界度量尺度的训练数据。这导致模型在实际应用中泛化能力不足，难以准确估计动物的深度信息和进行3D重建。现有方法主要依赖图像数据，忽略了LiDAR等其他模态数据提供的几何信息，限制了模型的性能。

核心思路：本文的核心思路是构建一个包含同步RGB图像和LiDAR数据的多模态数据集WildDepth，为动物的深度估计、行为检测和3D重建提供更丰富的信息来源。通过多模态数据融合，可以提高深度估计的准确性和鲁棒性，从而提升3D重建的保真度。

技术框架：WildDepth数据集的构建流程包括数据采集、同步、校准和标注等步骤。数据采集使用同步的RGB相机和LiDAR传感器，确保两种模态的数据在时间和空间上对齐。数据校准包括相机内参和外参的标定，以及LiDAR数据的去噪和滤波。数据标注包括动物的边界框、关键点和语义分割等信息。基于该数据集，可以进行深度估计、行为检测和3D重建等任务的基准测试。

关键创新：该论文的关键创新在于构建了一个包含同步RGB和LiDAR数据的野生动物多模态数据集。与现有数据集相比，WildDepth提供了度量尺度的深度信息，可以用于训练和评估深度估计模型。此外，该数据集涵盖了多种动物类别和环境，具有更强的泛化能力。

关键设计：WildDepth数据集的设计考虑了动物的多样性和环境的复杂性。数据采集过程中，尽可能覆盖了不同种类、不同姿态和不同行为的动物。同时，为了保证数据的质量，采用了高精度的传感器和严格的数据校准流程。在实验中，使用了常见的深度估计和3D重建模型作为基线，并设计了多模态数据融合策略，例如使用LiDAR数据作为深度估计的监督信号，或者将RGB和LiDAR特征进行融合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在WildDepth数据集上，使用多模态数据可以将深度估计的RMSE降低10%，显著提高了深度估计的准确性。同时，RGB-LiDAR融合可以将3D重建的Chamfer距离降低12%，提升了3D重建的保真度。这些结果验证了多模态数据融合在动物深度估计和3D重建中的有效性。

🎯 应用场景

WildDepth数据集及其相关研究成果可广泛应用于野生动物保护、生态监测、智能农业等领域。例如，可以利用该数据集训练的深度估计模型来监测野生动物种群数量、评估其生存环境，或者用于开发智能放牧系统，提高畜牧业生产效率。此外，该数据集还可以促进计算机视觉和机器人领域的多模态感知技术发展。

📄 摘要（原文）

Depth estimation and 3D reconstruction have been extensively studied as core topics in computer vision. Starting from rigid objects with relatively simple geometric shapes, such as vehicles, the research has expanded to address general objects, including challenging deformable objects, such as humans and animals. However, for the animal, in particular, the majority of existing models are trained based on datasets without metric scale, which can help validate image-only models. To address this limitation, we present WildDepth, a multimodal dataset and benchmark suite for depth estimation, behavior detection, and 3D reconstruction from diverse categories of animals ranging from domestic to wild environments with synchronized RGB and LiDAR. Experimental results show that the use of multi-modal data improves depth reliability by up to 10% RMSE, while RGB-LiDAR fusion enhances 3D reconstruction fidelity by 12% in Chamfer distance. By releasing WildDepth and its benchmarks, we aim to foster robust multimodal perception systems that generalize across domains.