Stitch4D: Sparse Multi-Location 4D Urban Reconstruction via Spatio-Temporal Interpolation

📄 arXiv: 2604.07923v1 📥 PDF

作者: Hina Kogure, Kei Katsumata, Taiki Miyanishi, Komei Sugiura

分类: cs.CV

发布日期: 2026-04-09

💡 一句话要点

Stitch4D：通过时空插值实现稀疏多视角4D城市重建

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 4D重建 稀疏多视角 时空插值 城市重建 视图合成

📋 核心要点

  1. 现有4D重建方法在稀疏多视角场景下，由于缺乏视图重叠，难以重建中间区域并易产生时间伪影。
  2. Stitch4D通过合成中间桥视图来增加空间约束，并在统一坐标系下联合优化真实和合成观测，从而恢复中间空间覆盖。
  3. 在U-S4D基准测试中，Stitch4D优于现有方法，证明了恢复中间空间覆盖对于稀疏场景4D重建的重要性。

📝 摘要（中文）

动态城市环境通常由放置在空间上分离的位置且几乎没有或没有视图重叠的相机捕获。然而，大多数现有的4D重建方法都假设密集重叠的视图。当应用于这种稀疏观测时，这些方法无法重建中间区域，并且经常引入时间伪影。为了解决这种实际但未被充分探索的稀疏多位置设置，我们提出了Stitch4D，一个统一的4D重建框架，它显式地补偿了稀疏观测中缺失的空间覆盖。Stitch4D (i) 合成中间桥视图以密集化空间约束并提高空间覆盖率，以及 (ii) 在显式的位置间一致性约束下，在统一的坐标系中联合优化真实和合成的观测。通过在优化之前恢复中间覆盖，Stitch4D可以防止几何崩溃，即使在稀疏观测的环境中也能重建连贯的几何体和流畅的场景动态。为了评估这种设置，我们引入了Urban Sparse 4D (U-S4D)，这是一个基于CARLA的基准，旨在评估稀疏多位置配置下的时空对齐。在U-S4D上的实验结果表明，Stitch4D超越了具有代表性的4D重建基线，并实现了卓越的视觉质量。这些结果表明，恢复中间空间覆盖对于稀疏城市环境中稳定的4D重建至关重要。

🔬 方法详解

问题定义：论文旨在解决在稀疏多视角条件下，现有4D重建方法难以有效重建城市环境的问题。现有方法通常依赖于密集的视图重叠，当应用于稀疏观测时，会导致几何结构坍塌、重建质量差以及时间上的不一致性。

核心思路：Stitch4D的核心思路是通过合成中间视角的图像，来填补稀疏视角之间的空间空隙，从而增加空间约束，改善重建效果。通过在优化前恢复中间覆盖，防止几何崩溃，并确保重建结果在时间和空间上的一致性。

技术框架：Stitch4D框架主要包含两个阶段：(1) 中间视图合成：利用现有稀疏视角的图像，合成位于这些视角之间的“桥视图”，从而增加空间覆盖率。(2) 联合优化：在一个统一的坐标系下，同时优化真实观测到的图像和合成的桥视图。在优化过程中，施加位置间一致性约束，以保证不同视角下重建结果的一致性。

关键创新：Stitch4D的关键创新在于显式地补偿了稀疏观测中缺失的空间覆盖。与现有方法直接在稀疏数据上进行重建不同，Stitch4D首先通过合成中间视图来“增稠”数据，然后再进行重建。这种方法能够有效地防止几何结构坍塌，并提高重建质量。

关键设计：论文中，中间视图的合成方法未知，但强调了在统一坐标系下进行联合优化，并施加了位置间一致性约束。具体的一致性约束形式和优化算法未知。此外，U-S4D基准的构建也是一个关键设计，为评估稀疏多视角4D重建算法提供了标准化的测试平台。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Stitch4D在U-S4D基准测试中表现出色，超越了现有的4D重建基线方法。实验结果表明，通过合成中间视图来增加空间覆盖率，能够显著提高重建质量和时空一致性。具体性能数据和提升幅度未知，但论文强调了Stitch4D在视觉质量上的优越性，证明了恢复中间空间覆盖对于稀疏城市环境4D重建的重要性。

🎯 应用场景

Stitch4D技术可应用于自动驾驶、城市规划、虚拟现实等领域。例如，在自动驾驶中，利用稀疏分布的摄像头数据重建城市环境，可以提高车辆对周围环境的感知能力。在城市规划中，可以利用历史图像数据重建城市的三维模型，并模拟城市的发展变化。该技术还有助于创建更逼真的虚拟现实体验，尤其是在需要模拟大型动态场景时。

📄 摘要（原文）

Dynamic urban environments are often captured by cameras placed at spatially separated locations with little or no view overlap. However, most existing 4D reconstruction methods assume densely overlapping views. When applied to such sparse observations, these methods fail to reconstruct intermediate regions and often introduce temporal artifacts. To address this practical yet underexplored sparse multi-location setting, we propose Stitch4D, a unified 4D reconstruction framework that explicitly compensates for missing spatial coverage in sparse observations. Stitch4D (i) synthesizes intermediate bridge views to densify spatial constraints and improve spatial coverage, and (ii) jointly optimizes real and synthesized observations within a unified coordinate frame under explicit inter-location consistency constraints. By restoring intermediate coverage before optimization, Stitch4D prevents geometric collapse and reconstructs coherent geometry and smooth scene dynamics even in sparsely observed environments. To evaluate this setting, we introduce Urban Sparse 4D (U-S4D), a CARLA-based benchmark designed to assess spatiotemporal alignment under sparse multi-location configurations. Experimental results on U-S4D show that Stitch4D surpasses representative 4D reconstruction baselines and achieves superior visual quality. These results indicate that recovering intermediate spatial coverage is essential for stable 4D reconstruction in sparse urban environments.