SICAF: Time-Varying Focus Bottleneck for Self-Supervised Event-Based Optical Flow with Spiking Neural Network

📄 arXiv: 2610.29158v1 📥 PDF

作者: Shuangming Yang, Qing He, Shangqi Guo, Badong Chen

分类: cs.CV

发布日期: 2026-10-21

备注: 27 pages, 6 figures, 10 tables

💡 一句话要点

提出SICAF以解决自监督事件驱动光流估计中的时序特征提取问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation)

关键词: 自监督学习 事件驱动 光流估计 脉冲神经网络 时序特征提取 鲁棒性提升 动态范围

📋 核心要点

  1. 现有的自监督事件驱动光流估计方法在时序特征提取上存在困难，导致冗余信息增加和性能下降。
  2. 本文提出SICAF框架，通过约束优化和时间调制，促进自监督SNN提取紧凑的潜在表示，增强特征选择性。
  3. 在多个数据集上的实验结果表明，SICAF在自监督SNN中实现了最先进的性能，MVSEC数据集上的AEE提升8.14%。

📝 摘要（中文）

基于事件的光流估计通过利用异步事件实现高时间分辨率和动态范围，而自监督学习为缺乏真实标签提供了有效解决方案。脉冲神经网络（SNN）作为一种受脑启发的模型，通过异步脉冲处理信息，天然适应光流事件。然而，事件流之间的时间不规则性阻碍了时空特征的紧凑提取，同时缺乏明确标签导致虚假相关性，增加了潜在表示的冗余。本文提出了一种新颖的“紧凑压缩、时变聚焦”训练策略，提出SICAF（脉冲信息压缩与聚焦）框架，将学习过程形式化为带有时间调制的约束优化，鼓励自监督SNN提取紧凑的潜在表示，同时防止过度压缩导致时间显著性丢失。通过设计具有可学习时间注意力的估计器，实现了跨时间步的上下文感知和依赖性。

🔬 方法详解

问题定义：本文旨在解决自监督事件驱动光流估计中时序特征提取的困难，现有方法由于时间不规则性和缺乏标签导致冗余信息增加，影响性能。

核心思路：提出SICAF框架，通过“紧凑压缩、时变聚焦”的训练策略，利用约束优化和时间调制，鼓励自监督SNN提取紧凑的潜在表示，同时保持时间显著性。

技术框架：SICAF框架包括数据预处理、脉冲神经网络模型、时间调制模块和损失函数设计。通过可学习的时间注意力机制，增强特征选择性和上下文感知。

关键创新：SICAF的核心创新在于将学习过程形式化为带有时间调制的约束优化，显著提高了自监督SNN在时序特征提取中的能力，区别于传统方法的静态特征提取。

关键设计：设计了具有可学习时间注意力的估计器，优化了损失函数以平衡压缩与时间显著性，确保网络在提取潜在表示时不丢失重要的时序信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SICAF在多个数据集上表现出色，特别是在MVSEC数据集上，AEE提升了8.14%，并在白盒对抗攻击下的鲁棒性提高了13.49%，展现了其在自监督SNN中的优越性能。

🎯 应用场景

该研究的潜在应用领域包括机器人视觉、自动驾驶、视频监控等需要高时间分辨率和动态范围的场景。通过提高自监督学习的有效性，SICAF能够在缺乏标签的情况下，提升光流估计的准确性和鲁棒性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Event-based optical flow estimation achieves high temporal resolution and dynamic range by exploiting asynchronous events, while self-supervised learning provides an effective solution to the absence of ground-truth labels. Spiking neural networks (SNNs), as brain-inspired models, process information through asynchronous spikes, naturally aligning with optical flow events. However, the temporal irregularity across event streams hinders the compact extraction of spatiotemporal features, while the absence of explicit labels leads to spurious correlations, thereby increasing redundancy within latent representations. In this paper, we propose a novel 'Compactly Compress, Time-varying Focus' training strategy. We present SICAF (Spikes Information Compression And Focus) framework that formulates the learning process as a constrained optimization with temporal modulation. It encourages self-supervised SNNs to extract compact latent representations while preventing over-compression that would discard temporal saliency. To better enable feature selectivity across time steps, we design an estimator with learnable temporal attention, achieving context awareness with cross-time dependencies. Experimental results on several datasets demonstrate that SICAF achieves state-of-the-art performance in self-supervised SNNs, with a 8.14% improvement in AEE on the MVSEC dataset and a 13.49% increase in robustness under white-box adversarial attacks.