Causal Spatiotemporal State Evolution for Monocular 4D Reconstruction
作者: Qiaowei Miao, Yijing Guo, Lipei Zhang, Qifeng Cheng, Yuru Xiao, Ziqian Ni, Sheng Yang
分类: cs.CV
发布日期: 2026-10-20
💡 一句话要点
提出因果时空状态演化框架以解决单目4D重建问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation)
关键词: 因果建模 时空演化 单目重建 动态场景 几何感知 运动监督 深度学习
📋 核心要点
- 现有方法在动态4D场景重建中，通常依赖无序的时间聚合，缺乏物理时间的方向性，导致不一致的场景表示。
- 论文提出的Causal Spatiotemporal Mamba框架，通过方向状态传播和统一运动监督，有效建模时空演化，提升了几何与运动的耦合性。
- 在动态基准测试中，所提方法在视频深度、相机姿态和光流估计上均实现了最先进的性能，显著减少了时间漂移。
📝 摘要（中文）
尽管前馈模型在静态3D几何估计中表现出色，但将其扩展到动态4D场景需要将视觉几何建模为因果演化状态。现有方法通常依赖无序的时间聚合，缺乏物理时间的方向结构。此外，现有监督方法往往将几何和运动视为独立目标，未能利用其内在的物理耦合。因此，缺乏统一的约束来有效监督时间状态转变，导致4D场景表示不一致。为此，我们提出了一种从单目视频中学习因果4D视觉几何的前馈框架。核心方法Causal Spatiotemporal Mamba通过方向状态传播增强时间聚合。通过互补的时空扫描和空间时扫描，CSM在帧间持续传播几何感知状态，以建模时空演化。为了将这种因果状态演化与可观察的动态对齐，我们引入了统一运动监督，利用几何感知预测构建与基础3D结构一致的统一前向运动场。大量评估表明，该方法在视频深度、相机姿态和光流估计上表现出色。
🔬 方法详解
问题定义：本论文旨在解决动态4D场景重建中的因果状态演化问题。现有方法通常将几何和运动视为独立目标，缺乏有效的时间状态转变监督，导致4D表示不一致。
核心思路：论文核心思想是通过引入因果状态传播和统一运动监督，将几何和运动的耦合性纳入考虑，从而实现更稳定的时空状态演化。
技术框架：整体框架包括两个主要模块：Causal Spatiotemporal Mamba用于状态传播，Unified Motion Supervision用于运动场构建。前者通过时空扫描实现几何状态的传播，后者则确保运动场与3D结构一致。
关键创新：最重要的创新在于引入了方向性状态传播机制和统一运动监督，这与现有方法的无序聚合和独立监督形成鲜明对比，显著提升了时空一致性。
关键设计：在网络结构上，采用了深度学习模型的多头结构，分别处理相机和深度预测。损失函数设计上，结合了几何感知和运动一致性，确保了状态转变的稳定性。具体参数设置和训练策略在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
在动态基准测试中，所提方法在视频深度估计上相较于基线提升了XX%，在相机姿态估计上提升了YY%，光流估计上提升了ZZ%。这些结果验证了因果状态传播与统一运动监督的协同作用，有效捕捉了连续场景演化，显著减少了时间漂移。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等。通过实现更准确的4D场景重建，能够提升这些领域中对动态环境的理解和交互能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
While feed-forward models excel in static 3D geometry estimation, extending them to dynamic 4D scenes requires modeling visual geometry as a causally evolving state. Current methods typically rely on unordered temporal aggregation, which lacks the directional structure of physical time. Furthermore, existing supervision often treats geometry and motion as disjoint objectives, failing to exploit their inherent physical coupling. Consequently, they lack a unified constraint to effectively supervise temporal state transitions, leading to inconsistent 4D scene representations. To address this, we propose a feed-forward framework for causal 4D visual geometry learning from monocular videos. At its core, Causal Spatiotemporal Mamba augments temporal aggregation with directional state propagation. Through complementary Temporal-Spatial and Spatial-Temporal Scans, CSM continuously propagates geometry-aware states across frames to model spatiotemporal evolution. To align this causal state evolution with observable dynamics, we introduce Unified Motion Supervision. Rather than treating motion as an independent objective, UMS leverages geometry-aware predictions from the camera and depth heads to construct a unified forward motion field that is consistent with the underlying 3D structure. This geometry-grounded supervision explicitly constrains inter-frame state transitions, enabling stable states propagation across frames. Extensive evaluations on dynamic benchmarks demonstrate state-of-the-art performance across video depth, camera pose, and optical flow estimation. These results validate that the synergy between the directional state propagation of Causal Spatiotemporal Mamba and Unified Motion Supervision effectively captures continuous scene evolution, significantly reducing temporal drift and reinforcing spatial-temporal consistency in 4D representation learning.