GeoRect4D: Geometry-Compatible Generative Rectification for Dynamic Sparse-View 3D Reconstruction

📄 arXiv: 2604.20784v1 📥 PDF

作者: Zhenlong Wu, Zihan Zheng, Xuanxuan Wang, Qianhe Wang, Hua Yang, Xiaoyun Zhang, Qiang Hu, Wenjun Zhang

分类: cs.CV

发布日期: 2026-04-22

💡 一句话要点

提出GeoRect4D以解决动态稀疏视图3D重建问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation)

关键词: 动态3D重建 稀疏视图 生成模型 闭环优化 时空一致性

📋 核心要点

  1. 现有方法在动态3D重建中面临几何崩溃和时间不一致等挑战，导致重建效果不理想。
  2. GeoRect4D通过闭环优化将3D一致性与生成细化结合，采用降解感知反馈机制以提升重建质量。
  3. 实验结果显示，GeoRect4D在多个数据集上实现了重建保真度和时空一致性的显著提升，达到最先进水平。

📝 摘要（中文）

从稀疏多视角视频重建动态3D场景是一个高度不适定的问题，常导致几何崩溃、轨迹漂移和浮动伪影。近期的研究尝试引入生成先验来填补缺失内容，但简单的整合常因随机2D生成与确定性3D几何之间的不匹配而导致结构漂移和时间不一致。本文提出了GeoRect4D，一个新颖的统一框架，通过闭环优化过程将显式3D一致性与生成细化相结合。GeoRect4D引入了一种降解感知反馈机制，结合了稳健的基于锚点的动态3DGS基底和单步扩散整流器，以生成高保真细节。实验表明，GeoRect4D在重建保真度、感知质量和时空一致性方面达到了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决从稀疏视图重建动态3D场景中的几何崩溃和时间不一致问题。现有方法常因随机生成与确定性几何不匹配而导致重建质量下降。

核心思路：GeoRect4D通过闭环优化过程，将显式3D一致性与生成细化相结合，采用降解感知反馈机制来提升重建的保真度和一致性。

技术框架：GeoRect4D的整体架构包括动态3DGS基底、单步扩散整流器和渐进优化策略。动态3DGS基底提供稳健的几何基础，而扩散整流器则用于生成高保真细节。

关键创新：GeoRect4D的主要创新在于其降解感知反馈机制和结构锁定机制，能够有效保持物理合理性，同时恢复缺失内容。这与现有方法的随机生成方式形成鲜明对比。

关键设计：该方法采用了基于锚点的动态3DGS基底，结合了空间时间协调注意力机制，确保生成内容的高保真性和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GeoRect4D在多个数据集上的实验结果显示，其重建保真度和时空一致性均优于现有最先进方法，具体性能提升幅度达到了XX%（具体数据待补充），展现出显著的实用价值。

🎯 应用场景

GeoRect4D的研究成果在虚拟现实、增强现实和影视制作等领域具有广泛的应用潜力。通过提升动态场景的重建质量，该技术能够为用户提供更真实的沉浸体验，推动相关行业的发展。

📄 摘要（原文）

Reconstructing dynamic 3D scenes from sparse multi-view videos is highly ill-posed, often leading to geometric collapse, trajectory drift, and floating artifacts. Recent attempts introduce generative priors to hallucinate missing content, yet naive integration frequently causes structural drift and temporal inconsistency due to the mismatch between stochastic 2D generation and deterministic 3D geometry. In this paper, we propose GeoRect4D, a novel unified framework for sparse-view dynamic reconstruction that couples explicit 3D consistency with generative refinement via a closed-loop optimization process. Specifically, GeoRect4D introduces a degradation-aware feedback mechanism that incorporates a robust anchor-based dynamic 3DGS substrate with a single-step diffusion rectifier to hallucinate high-fidelity details. This rectifier utilizes a structural locking mechanism and spatiotemporal coordinated attention, effectively preserving physical plausibility while restoring missing content. Furthermore, we present a progressive optimization strategy that employs stochastic geometric purification to eliminate floaters and generative distillation to infuse texture details into the explicit representation. Extensive experiments demonstrate that GeoRect4D achieves state-of-the-art performance in reconstruction fidelity, perceptual quality, and spatiotemporal consistency across multiple datasets.