FPV-CRASH: A Dataset for Offline Crash Moment Localization in Drone First-Person-View Videos

📄 arXiv: 2610.19785v1 📥 PDF

作者: Jifan Zhang, Tingyu Wang, Qian Liu, Zhedong Zheng

分类: cs.CV

发布日期: 2026-10-14

备注: 8 pages, 4 figures

💡 一句话要点

提出FPV-CRASH数据集以解决无人机FPV视频中的碰撞时刻定位问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 无人机 第一人称视角 碰撞时刻定位 数据集 视频分析 机器学习 热图模型

📋 核心要点

  1. 现有的碰撞视频数据集主要针对监控或行车记录仪视频，无法有效支持无人机FPV视频中的碰撞时刻定位任务。
  2. 本文提出FPV-CRASH数据集，包含526个碰撞和526个正常视频片段，并提供固定协议的参考评估方法。
  3. 实验结果显示，参考模型的平均绝对误差（MAE）从1.12秒降低至0.56秒，定位精度显著提升。

📝 摘要（中文）

碰撞时刻定位旨在识别无人机在第一人称视角（FPV）视频中控制飞行时发生的主要物理冲击，从而为事后分析提供时间参考。然而，现有的数据集主要集中在监控或行车记录仪视频，其注释方案和任务形式并未针对无人机FPV视频中的碰撞时刻进行设计。为填补这一空白，本文提出了FPV-CRASH数据集及固定协议参考评估，包含1052个无人机FPV视频片段（526个碰撞和526个正常），每个碰撞片段都有单帧参考注释。该数据集的发布包括注释、视频标识符、剪辑元数据等，以便于重建报告部分。

🔬 方法详解

问题定义：本文旨在解决无人机FPV视频中碰撞时刻的定位问题。现有方法主要集中在监控视频，缺乏针对无人机特定场景的注释和定位方案。

核心思路：提出FPV-CRASH数据集，包含碰撞和正常视频片段，并设计固定协议的评估方法，以支持无人机碰撞时刻的离线定位。

技术框架：整体架构包括数据集构建、视频片段注释、模型训练和评估。数据集中的每个碰撞片段都有单帧参考注释，且配有自动生成的英文字幕。

关键创新：最重要的创新在于构建了专门针对无人机FPV视频的碰撞时刻定位数据集，并提出了基于热图的参考模型，显著提高了定位精度。

关键设计：模型采用了稀疏采样帧进行时间戳估计，损失函数设计为最小化定位误差，确保模型在固定协议下的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，参考模型在固定协议下的平均绝对误差（MAE）从1.12秒降低至0.56秒，提升幅度达到50%。同时，定位在0.5秒内的片段比例从37.14%提升至65.71%，显示出显著的性能改进。

🎯 应用场景

该研究的潜在应用领域包括无人机飞行安全监控、事故分析和自动化飞行控制系统。通过准确定位碰撞时刻，可以为无人机的设计和操作提供重要的反馈，进而提升无人机的安全性和可靠性。

📄 摘要（原文）

Crash Moment Localization aims to localize the major physical impact that interrupts controlled flight in an onboard first-person-view (FPV) video recorded by a drone, thereby providing a temporal reference for retrospective crash analysis in aerial robotics. However, existing crash-video datasets predominantly target surveillance or dash-camera footage, and their annotation schemes and task formulations are not designed for temporal localization of the major physical impact in UAV onboard FPV videos. To address this gap, we present FPV-CRASH, a dataset and fixed-protocol reference evaluation for offline Crash Moment Localization in drone FPV videos. FPV-CRASH contains 1,052 drone FPV clips (526 Crash and 526 Normal); each Crash clip has a single-frame reference annotation for the Crash Moment, and every clip is paired with four English captions automatically generated from sampled frames and the known Crash/Normal label. Normal clips carry no timestamp target and provide training-time background supervision. The captions support an auxiliary Text-to-Video Retrieval task, whereas localization inference remains video-only. We further provide a heatmap-based reference model that estimates a continuous Crash Moment timestamp from sparsely sampled frames. Under the fixed, non-source-disjoint clip-level protocol, the reference model reduces MAE from 1.12 s for the strongest fixed timing-prior baseline to 0.56 s (a 50% relative reduction) and achieves a median absolute error (MedAE) of 0.33 s; the fraction of clips localized within 0.5 s rises from 37.14% to 65.71%. The release includes annotations, available source video identifiers and URLs, clipping metadata, fixed split lists, and preprocessing code so that the reportable portion can be reconstructed without redistributing source footage. At submission time, all source-compilation URLs remained accessible.