Optical-Flow Wingbeat Counting in MuJoCo: A Comparison of Convolutional, Spiking, and Attention-Based Temporal Models
作者: Zhang Nengbo
分类: cs.CV
发布日期: 2026-09-15
备注: 12 pages, 1 figure, 7 tables. Controlled simulation study
💡 一句话要点
提出光流翼击计数方法以解决无人机监测问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 光流计数 翼击监测 脉冲神经网络 自注意力模型 卷积神经网络
📋 核心要点
- 现有方法在监测拍打翼无人机时，难以准确区分单个翼击与运动强度和平均频率。
- 论文提出结合卷积编码器与多种时间模型的翼击计数方法，以提高计数准确性。
- 实验结果表明，在1.5米和3.0米的距离下，模型的准确率分别达到96.67%和94.44%，显示出良好的性能。
📝 摘要（中文）
本论文针对拍打翼无人机的视觉监测问题，提出了一种基于光流的翼击计数方法。通过在MuJoCo环境中进行控制实验，使用虚拟相机记录了三种拍打翼模型的光流数据，生成了1440个视频片段。研究比较了卷积网络、脉冲神经网络和自注意力模型在翼击计数任务中的表现，结果显示在不同距离下模型的准确率均超过92%。该研究为光流计数的可行性提供了支持，并识别了边界敏感错误。
🔬 方法详解
问题定义：本论文旨在解决在拍打翼无人机的视觉监测中，如何准确计数单个翼击的问题。现有方法在运动强度和频率的区分上存在不足，导致计数不准确。
核心思路：论文提出了一种结合空间卷积编码器与时间模型的翼击计数方法，利用光流信息来提高计数的准确性和鲁棒性。通过比较不同模型的表现，探索最佳的计数策略。
技术框架：整体架构包括三个主要模块：空间卷积编码器、时间模型（包括因果卷积网络、脉冲神经网络和自注意力模型）以及事件计数器。数据通过虚拟相机采集，经过训练后进行测试。
关键创新：最重要的技术创新在于将不同类型的时间模型应用于光流计数任务中，尤其是脉冲神经网络的使用，提供了新的视角与方法。与传统卷积模型相比，能够更好地处理时间序列数据。
关键设计：在模型设计中，采用了因果卷积结构以确保时间顺序的正确性，损失函数设计为适应多种模型的输出，确保了模型在不同场景下的稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在1.5米和3.0米的距离下，模型的准确率分别为96.67%、95.00%和94.44%、92.22%。所有模型在测试中表现出色，且在不同场景下的准确性差异未达到显著水平，证明了方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括无人机监测、机器人控制和生物启发的飞行器设计。通过提高翼击计数的准确性，可以在实际飞行中实现更精确的控制和导航，推动无人机技术的发展与应用。
📄 摘要（原文）
Visual monitoring of flapping-wing vehicles requires distinguishing individual wingbeats from motion strength and average frequency. This paper presents a controlled MuJoCo evaluation of wingbeat counting from signed optical flow observed by virtual cameras mounted on Crazyflie vehicles. Three flapping-wing models were recorded at optical distances of 1.5 and 3.0 m, producing 1,440 clips from 240 paired scene configurations with a scene-level 3:1 training-test split. A common spatial convolutional encoder was combined with a causal temporal convolutional network, a recurrent leaky integrate-and-fire spiking network, or causal self-attention. Each model predicted phase and activity, followed by the same directed-crossing event counter. The six existing convolutional models were retained, and all twelve new models were frozen before their test predictions were generated. Exact-count accuracies at 1.5 m were 96.67%, 95.00%, and 96.67%, respectively; at 3.0 m they were 94.44%, 92.22%, and 95.00%. All paired scene-bootstrap intervals for differences in exact-count accuracy included zero. Seven far-distance spiking-model clips had correct totals despite event-timing mismatches, demonstrating why total-count and event-level measurements must be reported together. The results support the feasibility of causal optical-flow counting in the tested setting and identify boundary-sensitive errors. They do not establish an architecture ranking across repeated training, real-flight robustness, or hardware efficiency.