SpikeStereoNet: A Brain-Inspired Framework for Stereo Depth Estimation from Spike Streams

📄 arXiv: 2505.19487 📥 PDF

作者: Zhuoheng Gao, Yihao Li, Jiyao Zhang, Rui Zhao, Tong Wu, Hao Tang, Zhaofei Yu, Hao Dong, Guozhang Chen, Tiejun Huang

分类: cs.CV

发布日期: 2026-04-07

💡 一句话要点

SpikeStereoNet：一种脑启发的脉冲立体视觉深度估计框架

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 脉冲相机 立体视觉 深度估计 循环脉冲神经网络 脑启发 事件相机 异步事件流

📋 核心要点

  1. 传统立体视觉方法在快速变化和光照不足场景中表现不佳，脉冲相机提供了一种新的解决方案，但缺乏相应的算法。
  2. SpikeStereoNet通过融合双目脉冲流，利用循环脉冲神经网络进行迭代深度估计，直接从原始脉冲流中提取深度信息。
  3. 该方法在合成和真实脉冲数据集上均优于现有方法，并展现出良好的数据效率，即使在少量数据下也能保持较高精度。

📝 摘要（中文）

传统基于帧的相机在快速变化的场景中进行立体深度估计时常常遇到困难。相比之下，受生物启发的脉冲相机以微秒级分辨率发射异步事件，提供了一种替代的感知方式。然而，现有方法缺乏专门针对脉冲数据的立体算法和基准。为了解决这一差距，我们提出了SpikeStereoNet，这是一个脑启发的框架，也是第一个直接从原始脉冲流中估计立体深度的框架。该模型融合来自两个视角的原始脉冲流，并通过循环脉冲神经网络（RSNN）更新模块迭代地细化深度估计。为了评估我们的方法，我们引入了一个大规模的合成脉冲流数据集和一个具有密集深度注释的真实立体脉冲数据集。SpikeStereoNet通过利用脉冲流捕捉纹理表面和极端光照条件等挑战区域中细微边缘和强度变化的能力，在两个数据集上都优于现有方法。此外，我们的框架表现出强大的数据效率，即使在大幅减少训练数据的情况下也能保持高精度。源代码和数据集将公开提供。

🔬 方法详解

问题定义：论文旨在解决传统相机在快速变化和光照条件差的环境下，立体视觉深度估计效果不佳的问题。现有方法无法有效处理脉冲相机产生的异步事件流，缺乏针对脉冲数据的立体视觉算法和基准数据集。

核心思路：论文的核心思路是设计一个脑启发的脉冲神经网络，直接从原始脉冲流中提取深度信息。通过融合双目脉冲流，并利用循环脉冲神经网络的迭代更新能力，逐步细化深度估计结果。这种方法模拟了生物视觉系统处理信息的方式，能够有效应对快速变化和光照不足的场景。

技术框架：SpikeStereoNet的整体框架包括以下几个主要模块：1) 双目脉冲流输入：接收来自左右两个视角的原始脉冲事件流。2) 特征提取：对脉冲流进行特征提取，例如使用时空滤波器提取边缘和纹理信息。3) 循环脉冲神经网络（RSNN）：使用RSNN进行深度估计的迭代更新，RSNN能够记忆历史信息，并逐步细化深度图。4) 深度图输出：输出最终的深度估计结果。

关键创新：该论文最重要的技术创新在于提出了第一个直接从原始脉冲流中估计立体深度的框架。与传统方法相比，SpikeStereoNet无需将脉冲数据转换为帧，而是直接利用脉冲事件的时空信息进行深度估计。此外，该论文还提出了一个脑启发的循环脉冲神经网络，能够有效处理脉冲数据的异步性和稀疏性。

关键设计：论文的关键设计包括：1) 使用循环脉冲神经网络（RSNN）作为深度估计的核心模块，RSNN的具体结构（例如神经元类型、连接方式）未知。2) 设计了合适的损失函数来训练网络，损失函数的具体形式未知。3) 为了评估算法性能，构建了大规模的合成脉冲流数据集和真实立体脉冲数据集，并进行了详细的深度标注。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SpikeStereoNet在合成和真实数据集上均取得了显著的性能提升。在合成数据集上，该方法优于现有方法X%。在真实数据集上，该方法在纹理缺失和光照变化剧烈的区域表现出更强的鲁棒性。此外，实验结果表明，SpikeStereoNet具有良好的数据效率，即使在训练数据量大幅减少的情况下，也能保持较高的深度估计精度。

🎯 应用场景

SpikeStereoNet在机器人导航、自动驾驶、增强现实等领域具有广泛的应用前景。尤其是在光照条件差、快速运动等挑战性场景下，该方法能够提供更准确、更鲁棒的深度信息。未来，该研究有望推动脉冲相机在实际应用中的普及，并促进相关领域的发展。

📄 摘要（原文）

Conventional frame-based cameras often struggle with stereo depth estimation in rapidly changing scenes. In contrast, bio-inspired spike cameras emit asynchronous events at microsecond-level resolution, providing an alternative sensing modality. However, existing methods lack specialized stereo algorithms and benchmarks tailored to the spike data. To address this gap, we propose SpikeStereoNet, a brain-inspired framework and the first to estimate stereo depth directly from raw spike streams. The model fuses raw spike streams from two viewpoints and iteratively refines depth estimation through a recurrent spiking neural network (RSNN) update module. To benchmark our approach, we introduce a large-scale synthetic spike stream dataset and a real-world stereo spike dataset with dense depth annotations. SpikeStereoNet outperforms existing methods on both datasets by leveraging spike streams' ability to capture subtle edges and intensity shifts in challenging regions such as textureless surfaces and extreme lighting conditions. Furthermore, our framework exhibits strong data efficiency, maintaining high accuracy even with substantially reduced training data. The source code and datasets will be publicly available.