PEGS: Physics-Event Enhanced Large Spatiotemporal Motion Reconstruction via 3D Gaussian Splatting

📄 arXiv: 2511.17116v1 📥 PDF

作者: Yijun Xu, Jingrui Zhang, Hongyi Liu, Yuhan Chen, Yuanyang Wang, Qingyao Guo, Dingwen Wang, Lei Yu, Chu He

分类: cs.CV

发布日期: 2025-11-21

💡 一句话要点

PEGS：基于物理事件增强的3D高斯溅射实现大时空运动重建

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation)

关键词: 运动重建 3D高斯溅射 事件相机 物理先验 运动模糊 卡尔曼滤波 模拟退火

📋 核心要点

  1. 现有方法在建模范式、运动模糊和物理一致性方面存在局限，难以重建大时空尺度下的刚性运动。
  2. PEGS框架融合物理先验和事件流增强，利用3D高斯溅射进行去模糊建模和运动恢复，实现更精确的运动重建。
  3. 实验结果表明，PEGS在重建大时空尺度运动方面优于主流动态方法，并贡献了新的RGB-Event配对数据集。

📝 摘要（中文）

由于建模范式的局限性、严重的运动模糊以及物理一致性不足，在大时空尺度上重建刚性运动仍然是一项具有挑战性的任务。本文提出了PEGS，一个将物理先验与事件流增强集成到3D高斯溅射管道中的框架，以执行去模糊的、目标聚焦的建模和运动恢复。我们引入了一个有凝聚力的三级监督方案，通过加速度约束来加强物理合理性，利用事件流进行高时间分辨率指导，并采用卡尔曼正则化器来融合多源观测。此外，我们设计了一种运动感知的模拟退火策略，该策略基于实时运动学状态自适应地调度训练过程。我们还贡献了第一个RGB-Event配对数据集，该数据集针对各种场景中的自然、快速刚性运动。实验表明，与主流动态方法相比，PEGS在重建大时空尺度上的运动方面表现出卓越的性能。

🔬 方法详解

问题定义：论文旨在解决大时空尺度下刚性运动重建的难题。现有方法在处理严重的运动模糊、保证物理一致性以及有效利用高时间分辨率信息方面存在不足，导致重建精度和鲁棒性受限。

核心思路：论文的核心思路是将物理先验知识和事件流信息融入到3D高斯溅射（3D Gaussian Splatting）框架中。通过物理先验约束保证重建运动的合理性，利用事件流提供高时间分辨率的运动信息，从而克服运动模糊的影响，提升重建质量。

技术框架：PEGS框架主要包含以下几个模块：1) 3D高斯溅射模块，用于场景的动态表示；2) 物理先验约束模块，通过加速度约束保证运动的物理合理性；3) 事件流增强模块，利用事件流提供高时间分辨率的运动信息；4) 卡尔曼正则化器，用于融合多源观测数据；5) 运动感知的模拟退火策略，自适应地调整训练过程。

关键创新：PEGS的关键创新在于：1) 提出了一个融合物理先验和事件流的3D高斯溅射框架，有效解决了大时空尺度下的运动重建问题；2) 设计了一个三级监督方案，包括物理合理性约束、事件流指导和卡尔曼正则化，从而实现更精确的运动重建；3) 提出了运动感知的模拟退火策略，自适应地调整训练过程，提高了训练效率和重建质量。

关键设计：论文设计了以下关键技术细节：1) 使用加速度约束作为物理先验，保证重建运动的合理性；2) 利用事件流提供高时间分辨率的运动信息，克服运动模糊的影响；3) 采用卡尔曼正则化器融合多源观测数据，提高重建精度；4) 设计运动感知的模拟退火策略，根据实时运动学状态自适应地调整训练过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PEGS在重建大时空尺度运动方面表现出卓越的性能，显著优于主流动态方法。论文贡献了首个RGB-Event配对数据集，为相关研究提供了宝贵的数据资源。实验结果表明，PEGS能够有效处理运动模糊，重建出更精确、更鲁棒的运动轨迹。

🎯 应用场景

该研究成果可应用于机器人导航、自动驾驶、运动捕捉、增强现实等领域。通过精确重建快速运动物体的轨迹和姿态，可以提高机器人对动态环境的感知能力，提升自动驾驶系统的安全性，并为AR/VR应用提供更逼真的交互体验。未来，该技术有望在工业自动化、医疗诊断等领域发挥重要作用。

📄 摘要（原文）

Reconstruction of rigid motion over large spatiotemporal scales remains a challenging task due to limitations in modeling paradigms, severe motion blur, and insufficient physical consistency. In this work, we propose PEGS, a framework that integrates Physical priors with Event stream enhancement within a 3D Gaussian Splatting pipeline to perform deblurred target-focused modeling and motion recovery. We introduce a cohesive triple-level supervision scheme that enforces physical plausibility via an acceleration constraint, leverages event streams for high-temporal resolution guidance, and employs a Kalman regularizer to fuse multi-source observations. Furthermore, we design a motion-aware simulated annealing strategy that adaptively schedules the training process based on real-time kinematic states. We also contribute the first RGB-Event paired dataset targeting natural, fast rigid motion across diverse scenarios. Experiments show PEGS's superior performance in reconstructing motion over large spatiotemporal scales compared to mainstream dynamic methods.