FastViDAR: Real-Time Omnidirectional Depth Estimation via Alternative Hierarchical Attention

📄 arXiv: 2509.23733v1 📥 PDF

作者: Hangtian Zhao, Xiang Chen, Yizhe Li, Qianhao Wang, Haibo Lu, Fei Gao

分类: cs.CV, cs.RO

发布日期: 2025-09-28

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

FastViDAR：提出基于交替分层注意力机制的实时全向深度估计框架

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 全向深度估计 鱼眼相机 实时性 分层注意力 等距柱状投影

📋 核心要点

  1. 现有全向深度估计方法计算复杂度高，难以在嵌入式平台上实现实时性，限制了其在机器人等领域的应用。
  2. FastViDAR通过交替分层注意力机制和ERP融合方法，在保证精度的前提下，显著降低了计算复杂度，提升了推理速度。
  3. 实验表明，FastViDAR在真实数据集上具有竞争力的零样本性能，并在NVIDIA Orin NX上实现了20 FPS的实时性。

📝 摘要（中文）

本文提出了一种名为FastViDAR的新框架，该框架使用四个鱼眼相机输入，生成完整的360°深度图，以及每个相机的深度、融合深度和置信度估计。主要贡献包括：（1）引入了交替分层注意力（AHA）机制，通过分离的帧内和帧间窗口自注意力有效地融合跨视图特征，以减少开销实现跨视图特征混合。（2）提出了一种新颖的ERP融合方法，将多视图深度估计投影到共享的等距柱状投影坐标系中，以获得最终的融合深度。（3）使用HM3D和2D3D-S数据集生成ERP图像-深度对进行全面评估，在真实数据集上展示了具有竞争力的零样本性能，同时在NVIDIA Orin NX嵌入式硬件上实现了高达20 FPS的帧率。

🔬 方法详解

问题定义：论文旨在解决全向深度估计问题，即利用多个鱼眼相机图像，生成360°环境的深度图。现有方法通常计算量大，难以在资源受限的嵌入式平台上实现实时性，限制了其在机器人导航、场景理解等领域的应用。

核心思路：论文的核心思路是设计一种高效的跨视图特征融合机制，在保证深度估计精度的同时，显著降低计算复杂度。通过交替分层注意力（AHA）机制，将全局注意力分解为局部窗口内的注意力，从而减少计算量。同时，采用ERP融合方法，将多视图深度估计投影到统一的坐标系中，实现深度信息的有效融合。

技术框架：FastViDAR框架主要包含以下几个阶段：1) 特征提取：使用卷积神经网络提取每个鱼眼相机的图像特征。2) 交替分层注意力（AHA）：通过帧内和帧间窗口自注意力机制，融合不同视角的特征。3) 深度估计：利用解码器从融合特征中预测每个视角的深度图。4) ERP融合：将多视角深度图投影到等距柱状投影（ERP）坐标系中，并进行融合，得到最终的360°深度图。

关键创新：论文最重要的技术创新点在于提出的交替分层注意力（AHA）机制。与传统的全局自注意力相比，AHA将注意力计算限制在局部窗口内，显著降低了计算复杂度。同时，AHA采用交替的帧内和帧间注意力，能够有效地融合不同视角的特征，提升深度估计的精度。

关键设计：AHA机制的关键设计包括：1) 窗口大小的选择：窗口大小决定了局部注意力的范围，需要根据实际场景进行调整。2) 注意力头的数量：注意力头的数量影响了特征融合的能力，需要进行实验优化。3) ERP融合方法：采用加权平均的方式融合多视角深度图，权重由置信度估计决定。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FastViDAR在HM3D和2D3D-S数据集上进行了评估，并在真实数据集上展示了具有竞争力的零样本性能。最重要的是，FastViDAR在NVIDIA Orin NX嵌入式硬件上实现了高达20 FPS的帧率，证明了其在资源受限平台上的实时性。与现有方法相比，FastViDAR在精度和速度之间取得了更好的平衡。

🎯 应用场景

FastViDAR具有广泛的应用前景，例如：机器人导航：为机器人提供实时的360°环境深度信息，帮助机器人进行路径规划和避障。虚拟现实/增强现实：生成高质量的3D场景，提升用户体验。自动驾驶：提供车辆周围环境的深度信息，辅助驾驶决策。安防监控：实现全方位的监控，提高安全性。该研究有望推动全向深度估计技术在实际场景中的应用。

📄 摘要（原文）

In this paper we propose FastViDAR, a novel framework that takes four fisheye camera inputs and produces a full $360^\circ$ depth map along with per-camera depth, fusion depth, and confidence estimates. Our main contributions are: (1) We introduce Alternative Hierarchical Attention (AHA) mechanism that efficiently fuses features across views through separate intra-frame and inter-frame windowed self-attention, achieving cross-view feature mixing with reduced overhead. (2) We propose a novel ERP fusion approach that projects multi-view depth estimates to a shared equirectangular coordinate system to obtain the final fusion depth. (3) We generate ERP image-depth pairs using HM3D and 2D3D-S datasets for comprehensive evaluation, demonstrating competitive zero-shot performance on real datasets while achieving up to 20 FPS on NVIDIA Orin NX embedded hardware. Project page: \href{https://3f7dfc.github.io/FastVidar/}{https://3f7dfc.github.io/FastVidar/}