EdMCGS: Event-Driven Markov Chain Gaussian Splatting for Extreme-Low-Frame-Rate Dynamic Scene Reconstruction

📄 arXiv: 2609.08332v1 📥 PDF

作者: Yuzhong Wang, Wenmin Wang, Xinxing Yu

分类: cs.CV

发布日期: 2026-09-08

备注: 29 pages, 3 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出EdMCGS以解决极低帧率动态场景重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 动态场景重建 事件驱动 马尔可夫链 高斯点云 实时渲染 计算机视觉 机器学习

📋 核心要点

  1. 现有方法在极低帧率下重建动态场景时，容易产生伪影，缺乏连续帧之间的运动证据。
  2. 论文提出通过事件驱动的马尔可夫链来建模场景运动，利用RGB帧和事件流的结合来增强重建效果。
  3. 实验结果显示，EdMCGS在合成和真实场景中均优于现有基线，且渲染速度快，所需高斯数量显著减少。

📝 摘要（中文）

我们提出了EdMCGS（事件驱动的马尔可夫链高斯点云），这是一种端到端的方法，旨在从极低帧率的RGB图像和事件流中重建动态3D场景，并能够在任意中间时间戳进行渲染。仅依赖RGB图像的方法由于缺乏连续帧之间的证据而产生大量伪影。为了解决这一问题，我们将场景运动建模为事件驱动的马尔可夫链，稀疏的RGB帧在其时间戳处锚定状态，而记录在时间间隔内的事件则驱动状态之间的转移。我们的实验表明，EdMCGS在合成和真实场景中均优于基于RGB和事件的基线，同时以远少于最强事件基线的高斯数量实现实时渲染。

🔬 方法详解

问题定义：本论文旨在解决在极低帧率下动态场景重建中，由于缺乏连续帧之间的运动信息而导致的伪影问题。现有方法通常依赖于RGB图像，无法有效捕捉动态变化。

核心思路：我们提出的EdMCGS方法通过事件驱动的马尔可夫链来建模场景运动，利用RGB帧作为状态锚点，并通过事件流驱动状态转移，从而实现更准确的动态重建。

技术框架：该方法的整体架构包括稀疏RGB帧和事件流的结合，状态由一组控制点承载，每个控制点由其图像投影邻域内的事件驱动，同时引入时间局部等距项以保持运动的局部刚性。

关键创新：EdMCGS的主要创新在于直接从事件中生成3D高斯的中间运动，而不是通过插值，这使得我们的模型在推理时能够实时生成动态场景。

关键设计：在设计上，我们使用了一组紧凑的控制点，每个控制点的运动由其邻域内采样的事件驱动，此外，时间局部等距项确保了运动的局部刚性，提升了重建的稳定性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EdMCGS在合成和真实场景中均显著优于基于RGB和事件的基线，渲染速度快，且所需高斯数量远少于最强事件基线，展示了其在动态场景重建中的优越性能。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在虚拟现实、增强现实和机器人导航等领域。通过高效重建动态场景，EdMCGS可以为实时交互和环境理解提供支持，推动智能系统在复杂环境中的应用。

📄 摘要（原文）

We present EdMCGS (Event-driven Markov chain Gaussian Splatting), an end-to-end method for reconstructing dynamic 3D scenes from extreme-low-frame-rate RGB together with an event stream, which can then be rendered at any intermediate timestamp. Methods relying solely on RGB images generate numerous artifacts due to the lack of evidence from between consecutive frames. To supply this missing evidence, we model the scene motion as an event-driven Markov chain, in which the sparse RGB frames anchor the state at their own timestamps while the events recorded within an interval drive the transition across it. Since the transition reads the events of the current interval, it remains active at inference and produces the in-between motion of the 3D Gaussians directly from the events rather than by interpolation, which sets our method apart from prior work that uses events only as training-time supervision. The state is carried by a compact set of control points, each driven by the events sampled in the neighborhood of its own image projection, and a temporal local isometry term keeps the propagated motion locally rigid. Experiments on synthetic and real-world scenes show that EdMCGS outperforms both RGB-based and event-based baselines, while rendering in real time with far fewer Gaussians than the strongest event-based baseline. We release our source code and a new dataset at https://github.com/joseclipse/EdMCGS.