EvtSlowTV -- A Large and Diverse Dataset for Event-Based Depth Estimation

📄 arXiv: 2511.02953v1 📥 PDF

作者: Sadiq Layi Macaulay, Nimet Kaygusuz, Simon Hadfield

分类: cs.CV, cs.AI, cs.LG, cs.RO

发布日期: 2025-11-04

💡 一句话要点

EvtSlowTV：用于事件相机深度估计的大规模多样化数据集

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 事件相机 深度估计 数据集 自监督学习 机器人视觉

📋 核心要点

  1. 现有的事件相机深度估计方法受限于小规模标注数据集，泛化能力不足，难以应用于真实场景。
  2. EvtSlowTV通过从YouTube视频中提取事件数据，构建了一个大规模、多样化的数据集，无需额外标注。
  3. 实验表明，使用EvtSlowTV训练的模型在复杂场景和运动中表现出更好的泛化能力，验证了数据集的有效性。

📝 摘要（中文）

本文提出了EvtSlowTV，一个大规模的事件相机数据集，用于解决事件相机深度估计中数据集规模受限的问题。该数据集从公开的YouTube视频中收集，包含超过130亿个事件，涵盖各种环境条件和运动模式，包括季节性徒步、飞行、风景驾驶和水下探索。EvtSlowTV比现有的事件数据集大一个数量级，为基于事件的深度学习提供了一个不受约束的自然场景。论文展示了EvtSlowTV适用于自监督学习框架，可以充分利用原始事件流的高动态范围潜力。实验结果表明，使用EvtSlowTV进行训练可以提高模型在复杂场景和运动中的泛化能力。该方法无需基于帧的标注，并保留了事件数据的异步特性。

🔬 方法详解

问题定义：事件相机深度估计旨在从事件流中推断场景的深度信息。现有方法通常依赖于小规模的标注数据集，这限制了模型在真实世界复杂场景中的泛化能力。此外，获取大规模的事件数据并进行精确标注成本高昂，阻碍了该领域的发展。

核心思路：本文的核心思路是利用公开可用的YouTube视频，通过事件相机模拟器生成大规模的事件数据。由于YouTube视频涵盖了各种环境和运动模式，因此可以构建一个多样化的数据集，从而提高模型的泛化能力。此外，采用自监督学习框架，避免了对事件数据进行人工标注的需求。

技术框架：EvtSlowTV数据集的构建流程主要包括以下几个阶段：1) 从YouTube上收集视频片段；2) 使用事件相机模拟器将视频转换为事件流；3) 对事件流进行预处理，例如去除噪声和异常值；4) 将事件数据存储为标准格式，方便后续的训练和评估。同时，论文采用自监督学习框架，利用事件流本身的信息来训练深度估计模型。

关键创新：EvtSlowTV的主要创新在于构建了一个大规模、多样化的事件相机数据集，该数据集比现有的数据集大一个数量级，并且涵盖了各种真实世界的场景和运动模式。此外，论文展示了如何利用该数据集进行自监督学习，从而避免了对事件数据进行人工标注的需求。

关键设计：论文中没有详细描述具体的网络结构或损失函数，但强调了自监督学习框架的重要性。推测可能使用了光流一致性、深度一致性等自监督信号来训练深度估计模型。具体参数设置和网络结构的选择可能取决于具体的应用场景和计算资源。

📊 实验亮点

论文通过实验证明，使用EvtSlowTV训练的深度估计模型在复杂场景和运动中表现出更好的泛化能力。具体性能数据未知，但论文强调了相比于使用小规模数据集训练的模型，泛化能力有显著提升。此外，论文还展示了EvtSlowTV适用于自监督学习框架，可以有效利用事件流的高动态范围潜力。

🎯 应用场景

EvtSlowTV数据集可以广泛应用于机器人导航、自动驾驶、增强现实等领域。事件相机具有高动态范围和低延迟的特性，使其在光照条件恶劣或运动速度快的场景中具有优势。通过使用EvtSlowTV训练的深度估计模型，可以提高机器人在复杂环境中的感知能力，从而实现更安全、更可靠的自主导航。

📄 摘要（原文）

Event cameras, with their high dynamic range (HDR) and low latency, offer a promising alternative for robust depth estimation in challenging environments. However, many event-based depth estimation approaches are constrained by small-scale annotated datasets, limiting their generalizability to real-world scenarios. To bridge this gap, we introduce EvtSlowTV, a large-scale event camera dataset curated from publicly available YouTube footage, which contains more than 13B events across various environmental conditions and motions, including seasonal hiking, flying, scenic driving, and underwater exploration. EvtSlowTV is an order of magnitude larger than existing event datasets, providing an unconstrained, naturalistic setting for event-based depth learning. This work shows the suitability of EvtSlowTV for a self-supervised learning framework to capitalise on the HDR potential of raw event streams. We further demonstrate that training with EvtSlowTV enhances the model's ability to generalise to complex scenes and motions. Our approach removes the need for frame-based annotations and preserves the asynchronous nature of event data.