TIDES: Time-Derivative Event Simulation via Deformable Reconstruction

📄 arXiv: 2606.02058v1 📥 PDF

作者: Christopher Thirgood, Dipon Kumar Ghosh, Simon Hadfield

分类: cs.CV, cs.RO

发布日期: 2026-06-01

💡 一句话要点

TIDES：基于可变形重建的时间导数事件模拟器，解决事件模拟中的时间戳批量问题。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 事件相机 事件模拟 动态高斯溅射 连续时间 自适应时间步长 传感器建模 计算机视觉

📋 核心要点

  1. 现有事件相机模拟器依赖帧序列推断事件时间戳，导致时间戳批量问题，在高动态场景下性能下降。
  2. TIDES基于动态高斯溅射，直接从3D场景学习几何和运动，从而精确预测每像素强度动态和阈值交叉。
  3. TIDES通过自适应时间步长和传感器带宽建模，在RGB-事件基准测试中实现了最先进的事件流保真度，并提升了下游任务性能。

📝 摘要（中文）

事件相机响应环境外观变化异步地发射事件。由于真实世界事件数据集的稀缺性，仿真至关重要。然而，大多数模拟器从帧序列推断事件时间戳，导致许多阈值交叉共享一小部分离散时间；这种失效模式被称为时间戳批量，在快速运动和遮挡下会恶化。我们提出了TIDES，一个建立在动态高斯溅射上的连续时间事件模拟器。由于TIDES在具有学习到的几何和运动的显式3D场景表示上运行，它可以直接从场景导出每像素强度动态，而不是通过差分渲染帧。这实现了准确的阈值交叉预测，包括每个渲染步骤的多个交叉，而无需时间上采样或帧插值。相同的3D场景模型揭示了对象部分遮挡彼此的位置；TIDES使用它来指导自适应时间步长，仅在遮挡动态使亮度变化的简单模型不可靠的区域集中计算。最后，我们使用瓦片级仲裁器对有限传感器带宽进行建模，其吞吐量、抖动和事件丢失再现了真实的传感器伪影。在配对的RGB-事件基准测试中，TIDES获得了最先进的事件流保真度。我们还表明，TIDES模拟的事件比竞争对手更有效地转移到真实的下游任务。

🔬 方法详解

问题定义：现有事件相机模拟器主要依赖于从RGB帧序列中提取事件，这种方法的痛点在于时间分辨率受限于帧率，导致在快速运动或复杂遮挡场景下，多个事件被分配到相同或相近的时间戳，即“时间戳批量”问题。这降低了模拟事件的真实性，影响了下游任务的性能。

核心思路：TIDES的核心思路是构建一个连续时间的事件模拟器，它不依赖于离散的RGB帧，而是直接从显式的3D场景表示中推导每像素的强度变化。通过学习场景的几何和运动信息，TIDES能够更精确地预测事件发生的时间和位置，从而避免时间戳批量问题。

技术框架：TIDES的整体框架包括以下几个主要模块：1) 动态高斯溅射（Dynamic Gaussian Splatting）：用于表示和学习3D场景的几何和运动信息。2) 强度动态推导：基于学习到的3D场景表示，计算每个像素的强度随时间的变化。3) 阈值交叉预测：根据强度变化和事件触发阈值，预测事件发生的时间和位置。4) 自适应时间步长：根据场景的复杂度和遮挡情况，动态调整时间步长，以提高计算效率。5) 传感器建模：模拟真实事件相机的传感器特性，如带宽限制、抖动和事件丢失。

关键创新：TIDES的关键创新在于其连续时间的事件模拟方法，它避免了传统方法中对离散RGB帧的依赖，从而能够更精确地模拟事件的发生。此外，TIDES还引入了自适应时间步长和传感器建模，进一步提高了模拟的真实性和效率。

关键设计：TIDES使用动态高斯溅射来表示3D场景，并通过优化高斯参数来学习场景的几何和运动信息。强度动态的推导基于高斯参数的变化，并使用链式法则计算每像素的强度梯度。自适应时间步长根据遮挡程度和强度变化率进行调整，以平衡计算精度和效率。传感器建模使用瓦片级仲裁器来模拟带宽限制和事件丢失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TIDES在RGB-事件基准测试中取得了最先进的事件流保真度。实验结果表明，TIDES模拟的事件数据比其他模拟器更有效地转移到真实的下游任务中，例如事件相机的目标检测和姿态估计。具体性能提升幅度未知，但论文强调了其在真实任务中的有效性。

🎯 应用场景

TIDES具有广泛的应用前景，包括自动驾驶、机器人导航、增强现实等领域。通过生成高质量的合成事件数据，可以用于训练和评估事件相机的算法，提高其在真实世界中的性能。此外，TIDES还可以用于研究事件相机的特性和优化其设计。

📄 摘要（原文）

Event cameras emit asynchronous events in response to environmental appearance changes. The scarcity of real-world event datasets makes simulation essential. However, most simulators infer event timestamps from frame sequences, forcing many threshold crossings to share a small set of discrete times; a failure mode we term timestamp batching that worsens under fast motion and occlusion. We present TIDES, a continuous-time event simulator built on dynamic Gaussian splatting. Because TIDES operates on an explicit 3D scene representation with learnt geometry and motion, it can derive per-pixel intensity dynamics directly from the scene, rather than by differencing rendered frames. This enables accurate threshold-crossing prediction, including multiple crossings per rendering step, without temporal upsampling or frame interpolation. The same 3D scene model reveals where objects partially occlude one another; TIDES uses this to guide adaptive time stepping, concentrating computation only in regions where occlusion dynamics make simple models of brightness change unreliable. Finally, we model finite sensor bandwidth using a tile-level arbiter whose throughput, jitter, and event drops reproduce realistic sensor artifacts. Across paired RGB-event benchmarks, TIDES attains state-of-the-art event-stream fidelity. We also show that events simulated by TIDES transfer more effectively to real downstream tasks than competitors'.