Stream4D: Streaming 4D Reconstruction with Training-free Motion Decoupling via Causal KV-Cache Attention
作者: Wei Zhang, Ying Feng, Mengtong Wu, Shiqiang Gong, Huaqi Zhang, Qi Zhang
分类: cs.CV
发布日期: 2026-10-22
备注: 10 pages, 8 figures. Accepted to ACM Multimedia 2026
💡 一句话要点
提出Stream4D以解决动态场景重建中的运动解耦问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 动态场景重建 运动解耦 因果注意力 Transformer 深度学习 相机姿态估计 流式重建
📋 核心要点
- 现有流式重建方法通常假设场景是静态的，导致在处理动态物体时出现姿态漂移和鬼影伪影等问题。
- Stream4D提出了一种无训练的运动解耦流式重建框架，通过因果注意力自适应聚合时间运动线索，解决动态场景重建中的挑战。
- 在多种动态场景基准测试中，Stream4D显著提高了相机姿态估计和静态场景重建质量，可靠生成动态掩模，有效减轻长序列鬼影。
📝 摘要（中文）
4D场景重建需要有效处理动态物体，但现有的流式方法通常假设场景是静态的，导致长序列中的姿态漂移和鬼影伪影。我们提出Stream4D，这是一种无训练的运动解耦流式重建框架，可以直接集成到因果Transformer骨干网络中。我们的关键观察是因果注意力在KV缓存中隐式编码了丰富的时间运动线索。我们自适应地从多个注意力层和时间窗口聚合这些线索，并将其与深度先验融合，以处理遮挡和无纹理区域等挑战性情况，生成精确的动态掩模，从而解耦静态和动态区域。然后，我们应用一种软键掩模方案，利用这些动态掩模抑制因果注意力中动态区域的干扰，从而提高相机姿态估计的准确性。Stream4D继承了因果注意力的高效性，并与现有流式架构兼容。
🔬 方法详解
问题定义：本论文旨在解决动态场景重建中的运动解耦问题。现有方法常常假设场景静态，导致在处理动态物体时出现姿态漂移和鬼影伪影等现象。
核心思路：我们提出Stream4D框架，通过因果注意力机制自适应聚合时间运动线索，并与深度先验结合，从而有效处理动态物体与静态背景的解耦问题。
技术框架：Stream4D的整体架构包括因果Transformer骨干网络，动态掩模生成模块，以及运动线索聚合机制。该框架能够在流式重建过程中实时处理动态场景。
关键创新：最重要的创新在于利用因果注意力中的KV缓存自适应聚合时间运动线索，并通过软键掩模方案抑制动态区域对相机姿态估计的干扰。这一方法与传统静态假设的流式重建方法本质上不同。
关键设计：在设计中，我们采用了多层注意力机制来聚合运动线索，并结合深度先验以提高动态掩模的准确性。此外，软键掩模方案的实现也在于动态掩模的生成和应用，确保了相机姿态估计的精度。
🖼️ 关键图片
📊 实验亮点
在多种动态场景基准测试中，Stream4D在相机姿态估计上提高了准确性，并在静态场景重建质量上显著提升，动态掩模的生成可靠性也得到了验证。具体性能数据表明，相较于基线方法，Stream4D在长序列处理中的鬼影现象得到了有效减轻。
🎯 应用场景
该研究在动态场景重建领域具有广泛的应用潜力，尤其是在自动驾驶、增强现实和机器人导航等领域。通过提高动态物体的处理能力，Stream4D能够显著提升这些应用的实时性和准确性，推动相关技术的发展。
📄 摘要（原文）
4D scene reconstruction requires robust handling of dynamic objects, yet existing streaming methods commonly assume static scenes, leading to pose drift and ghosting artifacts over long sequences. We introduce Stream4D, a training-free, motion-decoupled streaming reconstruction framework that can be directly integrated into causal Transformer backbones (e.g., StreamVGGT, Stream3R). Our key observation is that causal attention implicitly encodes rich temporal motion cues within the KV cache. We adaptively aggregate these cues from multiple attention layers and across temporal windows, and fuse them with depth priors to handle challenging cases such as occlusions and textureless regions, producing precise dynamic masks that decouple static and dynamic regions. We then apply a soft key masking scheme that leverages these dynamic masks to suppress interference from dynamic regions in causal attention, thereby improving camera pose estimation accuracy. Stream4D inherits the efficiency of causal attention and remains compatible with existing streaming architectures. On diverse dynamic-scene benchmarks, Stream4D significantly improves camera pose estimation and static-scene reconstruction quality, yields reliable dynamic masks, and effectively mitigates long-sequence ghosting.