ChronoFuseGS: Multi-Temporal Gaussian Fusion with Per-Splat Persistence and Change Visualization
作者: Tobias Batik, Diana Marin, Peter Kán, Hannes Kaufmann
分类: cs.GR, cs.CV
发布日期: 2026-09-25
备注: Accepted to Pacific Graphics 2026
💡 一句话要点
提出ChronoFuseGS以解决多时态场景重建问题
🎯 匹配领域: 支柱三:空间感知与语义 (Perception & Semantics)
关键词: 3D场景重建 高斯点云 多时态融合 变化可视化 环境监测
📋 核心要点
- 现有的3D场景重建方法在处理捕获图像集之间场景变化时存在显著挑战,难以有效整合不同时间步的数据。
- ChronoFuseGS通过合并多个独立训练的高斯点云模型,允许不同时间步的高斯点对重建贡献,从而提高了场景的重建精度。
- 在真实世界的实验中,合并模型在新视图合成质量上显著优于单时间步模型,能够恢复个体重建中缺失的结构细节。
📝 摘要(中文)
在捕获图像集之间场景部分变化的环境重建中,面临着3D场景重建的挑战。我们提出了ChronoFuseGS,这是一种多时态高斯点云融合方法,通过将多个分别训练的高斯点云模型合并为一个单一的模型,来解决这一问题。该模型支持增量扩展,允许在保留现有合并重建的同时添加新的时间步。我们还提出了一种变化感知的可视化方法,能够突出用户定义时间选择中变化的场景部分,同时保留持久部分的颜色。我们的实验在一个真实的户外数据集上进行,结果表明,合并模型在新视图合成质量上优于单时间步模型,并可靠地突出细节变化。
🔬 方法详解
问题定义:论文旨在解决在捕获图像集之间场景部分变化时的3D场景重建问题。现有方法通常无法有效整合不同时间步的数据,导致重建质量下降。
核心思路:ChronoFuseGS通过合并多个独立训练的高斯点云模型,使得不同时间步的高斯点能够相互贡献,从而利用所有捕获时间步的数据来优化持久场景部分的重建。
技术框架:该方法的整体架构包括多个训练好的高斯点云模型、合并过程和变化感知可视化模块。每个高斯原语都编码了其在重建中的贡献时间步,支持增量扩展。
关键创新:最重要的创新在于允许不同时间步的高斯点相互作用,从而实现更精细的场景重建。这一设计使得变化可视化达到亚对象粒度,而不仅限于对象级别的变化。
关键设计:在模型设计中,关键参数包括高斯点的数量、合并策略和变化编码方式。损失函数的设计确保了合并后的模型在新视图合成质量上的提升。具体的网络结构细节尚未公开。
🖼️ 关键图片
📊 实验亮点
在真实世界的实验中,ChronoFuseGS在新视图合成质量上显著优于单时间步模型,具体表现为在细节恢复和变化突出方面的提升。合并模型能够可靠地识别细微变化,提供更高的重建精度。
🎯 应用场景
ChronoFuseGS的潜在应用领域包括城市规划、环境监测和灾害管理等。通过精确重建变化场景,该方法能够为决策提供数据支持,帮助相关领域的研究人员和从业者更好地理解和应对环境变化。
📄 摘要(原文)
Reconstructing environments where parts of the scene change between captured image sets poses a challenge for 3D scene reconstruction. We present ChronoFuseGS, a multi-temporal Gaussian Splatting approach that addresses this issue by taking multiple separately trained Gaussian Splatting models, each representing a distinct timestep and partially overlapping in geographic coverage, and merging them into a single combined model. By allowing Gaussians from one timestep to contribute to the reconstruction at other timesteps, our approach leverages data across all captured timesteps to refine persistent parts of the scene. The model supports incremental extension, allowing new timesteps to be added while preserving the existing merged reconstruction. It encodes, for each Gaussian primitive, at which timesteps it contributes to the reconstruction. To support visual exploration of the reconstructed scene, we present a change-aware visualization approach that highlights the parts of the scene that have changed across a user-defined time selection, while preserving the color of persistent parts. Since the persistence encoding operates at the Gaussian primitive level, changes are visualized at sub-object granularity rather than being limited to object-level changes. We evaluate our approach on a real-world outdoor dataset of a flood management area, captured over 7 months across eight recording days and covering seasonal vegetation changes, snow cover, and flooding events, which we make publicly available. Our results demonstrate that the combined model consistently outperforms individually trained single-timestep models in novel-view synthesis quality, recovers structural details absent in the individual reconstructions, and reliably highlights changes in fine details and sub-parts of objects and natural structures.