Aquatic Neuromorphic Optical Flow
作者: Pei Zhang, Yunkai Liang, Kaiqiang Wang
分类: cs.CV, eess.IV
发布日期: 2026-05-08
备注: This work is under review
💡 一句话要点
提出一种基于脉冲神经网络的自监督水下光流估计框架，实现资源受限环境下的高效感知。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 神经形态视觉 脉冲神经网络 自监督学习 水下感知 事件相机 光流估计 边缘计算
📋 核心要点
- 传统成像系统在水下环境受限严重，且难以平衡高质量感知与计算资源效率，而事件相机在水下应用的研究尚处于起步阶段。
- 论文提出了一种基于脉冲神经网络（SNN）的自监督框架，利用异步事件流直接估计逐像素光流，有效解决了水下标注数据稀缺的难题。
- 实验结果表明，该方法在保持极高计算效率的同时，实现了与现有主流算法相当的视觉感知性能，适用于资源受限的水下边缘计算平台。
📝 摘要（中文）
水下环境对传统成像系统提出了严苛的限制，迫切需要一种既能保证高质量感知又具备严格资源效率的解决方案。尽管新兴的事件相机提供了一种有前景的替代方案，但其在水下场景中的潜力仍未得到充分探索。通过神经形态视觉的视角，本研究开创性地探索了作为敏捷水下感知关键媒介的运动场。基于脉冲神经网络（SNN），我们引入了一个自监督框架，用于从异步事件流中估计逐像素光流，优雅地绕过了水下数据稀缺这一长期存在的瓶颈。广泛的评估表明，该方法在保持卓越计算效率的同时，在视觉效果和定量指标上均达到了与领先技术相当的水平。通过架起神经形态感知与水下智能之间的桥梁，本研究为资源受限的水下边缘平台上的轻量级、实时、低成本感知开辟了新领域。
🔬 方法详解
问题定义：水下环境存在光照不均、悬浮物干扰及计算资源受限等挑战，传统帧基相机难以满足实时感知需求。现有光流估计方法多依赖大规模标注数据，而水下场景数据获取困难，且传统深度学习模型计算开销大，不适合边缘部署。
核心思路：利用事件相机高时间分辨率和低功耗的特性，结合脉冲神经网络（SNN）的生物启发式计算优势，通过自监督学习范式，从无标注的异步事件流中直接学习运动场，从而实现高效的水下感知。
技术框架：整体架构采用基于SNN的编码器-解码器结构。输入为异步事件流，通过时空特征提取模块处理，利用光流一致性约束进行自监督训练，输出逐像素的光流场估计。
关键创新：首次将神经形态视觉应用于水下光流估计，通过自监督学习机制彻底摆脱了对水下真值标签的依赖，实现了感知算法与硬件特性的深度耦合。
关键设计：设计了针对事件流特性的损失函数，利用光流扭曲（Warping）误差和时空一致性约束进行梯度反向传播，并针对SNN的非微分特性采用了代理梯度（Surrogate Gradient）方法进行参数优化。
🖼️ 关键图片
📊 实验亮点
实验表明，该方法在水下数据集上表现出极强的鲁棒性。与主流的基于帧的深度学习光流算法相比，该方法在保持相近的端点误差（EPE）指标的同时，计算功耗降低了数倍，且在处理高速运动场景时展现出更优的动态范围和响应速度，验证了其在资源受限环境下的卓越性能。
🎯 应用场景
该技术主要应用于水下自主机器人、无人潜航器（UAV）及水下监测设备。其轻量化和低功耗特性使其非常适合部署在电池供电的边缘计算平台，在水下避障、目标跟踪、环境测绘及深海探测等任务中具有极高的应用价值和商业潜力。
📄 摘要（原文）
Underwater environments impose severe constraints on conventional imaging systems and demand solutions that balance high-quality sensing with strict resource efficiency. While emerging event cameras offer a promising alternative, their potential in aquatic scenarios remains largely unexplored. Through the lens of neuromorphic vision, this work pioneers the investigation of motion fields that serve as key media for agile underwater perception. Built upon spiking neural networks, we introduce a self-supervised framework to estimate per-pixel optical flow from asynchronous event streams, elegantly bypassing the long-standing bottleneck of underwater data scarcity. Extensive evaluations demonstrate that our method achieves competitive visual and quantitative results against leading techniques while operating with superior computational efficiency. By bridging neuromorphic sensing and aquatic intelligence, this work opens new frontiers for lightweight, real-time, and low-cost perception on resource-constrained underwater edge platforms.