Perturbed State Space Feature Encoders for Optical Flow with Event Cameras

📄 arXiv: 2504.10669v1 📥 PDF

作者: Gokul Raju Govinda Raju, Nikola Zubić, Marco Cannici, Davide Scaramuzza

分类: cs.CV, cs.LG

发布日期: 2025-04-14

备注: 10 pages, 4 figures, 4 tables. Equal contribution by Gokul Raju Govinda Raju and Nikola Zubić

期刊: IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Nashville, 2025

💡 一句话要点

提出Perturbed State Space Feature Encoders (P-SSE)，用于事件相机光流估计，提升时空推理能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation)

关键词: 事件相机 光流估计 State Space Model 时空推理 深度学习 扰动方法 机器人视觉

📋 核心要点

  1. 现有事件相机光流估计的神经网络在时空推理方面存在局限性，难以充分利用事件流的时序信息。
  2. 提出Perturbed State Space Feature Encoders (P-SSE)，通过扰动状态动态矩阵，提升模型的稳定性和性能。
  3. 在DSEC-Flow和MVSEC数据集上，P-SSE的EPE性能分别提高了8.48%和11.86%，验证了其优越性。

📝 摘要（中文）

本文针对事件相机光流估计中现有深度学习方法在时空推理方面的局限性，提出了Perturbed State Space Feature Encoders (P-SSE)。P-SSE能够自适应地处理时空特征，拥有类似于Transformer的大感受野，同时保持了SSM的线性计算复杂度。该模型的核心创新在于对控制SSM系统的状态动态矩阵进行扰动，显著提高了模型的稳定性和性能。P-SSE被集成到一个利用双向流和循环连接的框架中，扩展了光流预测的时间上下文。在DSEC-Flow和MVSEC数据集上的评估表明，P-SSE具有优越性，EPE性能分别提高了8.48%和11.86%。

🔬 方法详解

问题定义：事件相机光流估计旨在根据事件流推断场景中像素的运动。现有基于深度学习的方法在处理事件流的时序信息和空间关系时存在不足，难以有效地进行时空推理。这些方法通常难以捕捉长时依赖关系，并且计算复杂度较高。

核心思路：本文的核心思路是利用State Space Models (SSM) 的高效时序建模能力，并引入扰动机制来增强模型的稳定性和性能。通过对SSM的状态动态矩阵进行扰动，模型能够更好地适应事件流中的噪声和不确定性，从而提高光流估计的准确性。

技术框架：该框架包含以下主要模块：1) 事件流预处理：将事件流转换为适合网络输入的表示形式。2) P-SSE编码器：利用P-SSE模块提取时空特征。3) 双向光流估计：采用双向光流预测，融合前后向信息。4) 循环连接：通过循环连接扩展时间上下文，提高预测的鲁棒性。

关键创新：最重要的技术创新点在于对SSM的状态动态矩阵进行扰动。传统的SSM在处理复杂的事件流时容易出现不稳定现象。通过引入扰动，可以有效地缓解这个问题，提高模型的泛化能力。这种扰动方法与直接正则化不同，它直接作用于状态转移过程，更有效地提升了模型的性能。

关键设计：P-SSE模块的关键设计包括：1) 状态动态矩阵的扰动方式：具体扰动函数和参数的选择。2) 损失函数：采用EPE (End-Point-Error) 作为主要损失函数，并可能结合其他正则化项。3) 网络结构：P-SSE模块的具体网络结构，包括线性层、激活函数等的选择。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，P-SSE在DSEC-Flow和MVSEC数据集上均取得了显著的性能提升。在DSEC-Flow数据集上，P-SSE的EPE降低了8.48%，在MVSEC数据集上，EPE降低了11.86%。这些结果表明，P-SSE能够有效地提高事件相机光流估计的准确性，优于现有的方法。

🎯 应用场景

该研究成果可应用于机器人导航、自动驾驶、无人机等领域。事件相机在高速运动和高动态范围场景下具有优势，结合P-SSE光流估计方法，可以提高这些应用在复杂环境中的感知能力和鲁棒性。未来，该技术有望进一步推动事件相机在视觉SLAM、三维重建等领域的应用。

📄 摘要（原文）

With their motion-responsive nature, event-based cameras offer significant advantages over traditional cameras for optical flow estimation. While deep learning has improved upon traditional methods, current neural networks adopted for event-based optical flow still face temporal and spatial reasoning limitations. We propose Perturbed State Space Feature Encoders (P-SSE) for multi-frame optical flow with event cameras to address these challenges. P-SSE adaptively processes spatiotemporal features with a large receptive field akin to Transformer-based methods, while maintaining the linear computational complexity characteristic of SSMs. However, the key innovation that enables the state-of-the-art performance of our model lies in our perturbation technique applied to the state dynamics matrix governing the SSM system. This approach significantly improves the stability and performance of our model. We integrate P-SSE into a framework that leverages bi-directional flows and recurrent connections, expanding the temporal context of flow prediction. Evaluations on DSEC-Flow and MVSEC datasets showcase P-SSE's superiority, with 8.48% and 11.86% improvements in EPE performance, respectively.