Event-based Stereo Depth Estimation: A Survey
作者: Suman Ghosh, Guillermo Gallego
分类: cs.CV, cs.RO
发布日期: 2024-09-26 (更新: 2025-07-07)
备注: 28 pages, 24 figures, 7 tables. Project page: https://github.com/tub-rip/EventStereoSurvey
期刊: IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 2025
DOI: 10.1109/TPAMI.2025.3586559
💡 一句话要点
事件相机立体深度估计综述：全面回顾与未来展望
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 事件相机 立体视觉 深度估计 深度学习 综述 机器人 SLAM
📋 核心要点
- 现有事件相机立体深度估计方法在精度和效率上存在挑战，难以在实际应用中达到最优性能。
- 本综述全面回顾了事件相机立体深度估计领域的研究进展，包括传统方法和深度学习方法，并分析了优缺点。
- 该综述首次全面评估了深度学习方法和立体数据集，并为未来基准测试的创建提供了实用建议。
📝 摘要（中文）
立体视觉是机器人领域广泛应用的技术，模仿生物感知深度的方式进行3D导航。事件相机是一种新型的生物启发式传感器，以极高的时间分辨率和高动态范围异步检测每个像素的亮度变化，从而能够在高速运动和广泛的照明条件下实现机器感知。高时间精度也有利于立体匹配，使得视差（深度）估计自事件相机问世以来就成为一个热门的研究领域。在过去的30年中，该领域发展迅速，从低延迟、低功耗的电路设计发展到目前由计算机视觉社区驱动的深度学习（DL）方法。由于其高度跨学科的性质，文献浩如烟海，非专业人士难以查阅。过去的综述已经从应用的角度或仅关注特定类型的技术来探讨了该主题的不同方面，但忽略了立体数据集。本综述提供了一个全面的概述，涵盖了适用于同步定位和映射（SLAM）的瞬时立体和长期方法，以及理论和实证比较。它是第一个广泛回顾深度学习方法以及立体数据集的综述，甚至为创建新的基准来推进该领域提供了实用的建议。还讨论了基于事件的立体深度估计所面临的主要优势和挑战。尽管取得了显著的进展，但在实现最佳性能方面仍然存在挑战，不仅在准确性方面，而且在效率方面，这是基于事件的计算的基石。我们发现了几个差距，并提出了未来的研究方向。我们希望本综述能够激发该领域未来的研究，为新手提供一个易于理解的切入点，并为社区中有经验的研究人员提供一个实用的指南。
🔬 方法详解
问题定义：论文旨在解决事件相机立体视觉深度估计领域缺乏全面综述的问题。现有方法在精度和效率上存在挑战，同时缺乏对深度学习方法和立体数据集的系统性评估。过去的综述往往侧重于特定应用或技术，忽略了该领域整体的发展脉络和未来趋势。
核心思路：论文的核心思路是对事件相机立体视觉深度估计领域的各种方法进行系统性梳理和分类，包括传统方法和深度学习方法。通过理论分析和实验对比，总结各种方法的优缺点，并探讨未来的研究方向。同时，论文还关注了立体数据集的建设和评估，为未来的研究提供参考。
技术框架：该综述论文的整体框架如下：首先，介绍事件相机的基本原理和立体视觉的基本概念。然后，对现有的事件相机立体深度估计方法进行分类，包括瞬时立体和长期方法，以及传统方法和深度学习方法。接着，对各种方法的理论基础、算法流程和实验结果进行详细分析和比较。最后，总结该领域的研究进展和挑战，并展望未来的研究方向。
关键创新：该综述的关键创新在于：1) 首次全面回顾了深度学习方法在事件相机立体深度估计中的应用；2) 首次对现有的事件相机立体数据集进行了系统性评估；3) 为未来基准测试的创建提供了实用建议；4) 对该领域的研究进展和挑战进行了深入分析，并提出了未来的研究方向。
关键设计：该综述的关键设计在于：1) 对各种方法进行了清晰的分类和组织，方便读者快速了解该领域的研究现状；2) 对各种方法的理论基础和算法流程进行了详细的描述，方便读者深入理解其原理；3) 对各种方法的实验结果进行了客观的比较，方便读者评估其性能；4) 对该领域的研究进展和挑战进行了深入的分析，为读者提供了有价值的思考。
🖼️ 关键图片
📊 实验亮点
该综述全面回顾了事件相机立体深度估计领域的研究进展，并对各种方法进行了详细的分析和比较。特别地，该综述首次对深度学习方法和立体数据集进行了系统性评估，为未来的研究提供了重要的参考。此外，该综述还提出了未来基准测试的创建建议，有望推动该领域的发展。
🎯 应用场景
事件相机立体深度估计在机器人导航、自动驾驶、无人机、增强现实等领域具有广泛的应用前景。它能够帮助机器人在高速运动和复杂光照条件下感知周围环境的深度信息，从而实现自主导航、避障、目标识别等功能。未来的发展将推动这些领域的技术进步和应用普及。
📄 摘要（原文）
Stereopsis has widespread appeal in robotics as it is the predominant way by which living beings perceive depth to navigate our 3D world. Event cameras are novel bio-inspired sensors that detect per-pixel brightness changes asynchronously, with very high temporal resolution and high dynamic range, enabling machine perception in high-speed motion and broad illumination conditions. The high temporal precision also benefits stereo matching, making disparity (depth) estimation a popular research area for event cameras ever since its inception. Over the last 30 years, the field has evolved rapidly, from low-latency, low-power circuit design to current deep learning (DL) approaches driven by the computer vision community. The bibliography is vast and difficult to navigate for non-experts due its highly interdisciplinary nature. Past surveys have addressed distinct aspects of this topic, in the context of applications, or focusing only on a specific class of techniques, but have overlooked stereo datasets. This survey provides a comprehensive overview, covering both instantaneous stereo and long-term methods suitable for simultaneous localization and mapping (SLAM), along with theoretical and empirical comparisons. It is the first to extensively review DL methods as well as stereo datasets, even providing practical suggestions for creating new benchmarks to advance the field. The main advantages and challenges faced by event-based stereo depth estimation are also discussed. Despite significant progress, challenges remain in achieving optimal performance in not only accuracy but also efficiency, a cornerstone of event-based computing. We identify several gaps and propose future research directions. We hope this survey inspires future research in this area, by serving as an accessible entry point for newcomers, as well as a practical guide for seasoned researchers in the community.