DASH: 4D Hash Encoding with Self-Supervised Decomposition for Real-Time Dynamic Scene Rendering

📄 arXiv: 2507.19141v2 📥 PDF

作者: Jie Chen, Zhangchi Hu, Peixi Wu, Huyue Zhu, Hebei Li, Xiaoyan Sun

分类: cs.CV

发布日期: 2025-07-25 (更新: 2025-07-29)

备注: ICCV 2025

🔗 代码/项目: GITHUB

💡 一句话要点

DASH：基于自监督分解的4D哈希编码，用于实时动态场景渲染

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 动态场景渲染 4D哈希编码 自监督学习 场景分解 实时渲染

📋 核心要点

  1. 现有动态场景渲染方法受限于低秩假设，导致特征重叠和渲染质量下降，难以有效处理复杂动态场景。
  2. DASH通过自监督分解分离动态和静态组件，并采用多分辨率4D哈希编码显式表示动态元素，避免了低秩约束。
  3. 实验表明，DASH在真实数据集上实现了最先进的动态渲染性能，并在单个GPU上达到实时渲染速度。

📝 摘要（中文）

动态场景重建是3D视觉领域长期存在的挑战。现有的基于平面的动态高斯溅射方法存在不合适的低秩假设，导致特征重叠和渲染质量差。虽然4D哈希编码提供了一种显式表示，避免了低秩约束，但直接将其应用于整个动态场景会导致大量的哈希冲突和冗余。为了解决这些挑战，我们提出了DASH，一个实时的动态场景渲染框架，它采用4D哈希编码结合自监督分解。我们的方法首先使用自监督分解机制来分离动态和静态组件，无需手动标注或预先计算的掩码。接下来，我们为动态元素引入了多分辨率4D哈希编码器，提供了一种避免低秩假设的显式表示。最后，我们提出了一种时空平滑正则化策略，以减轻不稳定的变形伪影。在真实世界数据集上的实验表明，DASH实现了最先进的动态渲染性能，在单个4090 GPU上以264 FPS的实时速度展示了增强的视觉质量。

🔬 方法详解

问题定义：现有动态场景渲染方法，特别是基于动态高斯溅射的方法，通常采用基于平面的低秩假设来简化问题。然而，这种低秩假设在处理复杂动态场景时会引入特征重叠，导致渲染质量下降。此外，直接将4D哈希编码应用于整个动态场景会导致哈希冲突和冗余，影响效率。

核心思路：DASH的核心思路是将动态场景分解为静态和动态两部分，分别进行处理。对于动态部分，采用多分辨率4D哈希编码，避免了低秩假设的限制，从而能够更准确地表示复杂的动态变化。自监督分解机制无需人工标注，降低了数据准备的成本。

技术框架：DASH框架主要包含三个阶段：1) 自监督分解：将动态场景分解为静态和动态组件，无需人工标注。2) 多分辨率4D哈希编码：对动态组件使用多分辨率4D哈希编码器进行显式表示。3) 时空平滑正则化：通过时空平滑正则化策略，减少渲染结果中不稳定的变形伪影。

关键创新：DASH的关键创新在于：1) 提出了一种自监督的动态场景分解方法，无需人工标注即可有效分离动态和静态组件。2) 采用多分辨率4D哈希编码，避免了低秩假设的限制，能够更准确地表示复杂的动态变化。3) 引入时空平滑正则化策略，有效减少了渲染结果中的变形伪影。

关键设计：自监督分解模块的设计细节未知，但其目标是分离动态和静态组件。多分辨率4D哈希编码器的具体网络结构和哈希函数选择未知。时空平滑正则化策略的具体损失函数形式未知，但其目的是保证渲染结果在时间和空间上的连续性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DASH在真实世界数据集上实现了最先进的动态渲染性能，在单个4090 GPU上达到了264 FPS的实时渲染速度。相较于现有方法，DASH在视觉质量上也有显著提升，能够更准确地表示复杂的动态变化，并减少渲染伪影。

🎯 应用场景

DASH在虚拟现实、增强现实、自动驾驶、机器人导航等领域具有广泛的应用前景。它可以用于创建更逼真、更流畅的动态场景渲染效果，提升用户体验。此外，DASH还可以用于动态场景的重建和分析，为相关研究提供支持。

📄 摘要（原文）

Dynamic scene reconstruction is a long-term challenge in 3D vision. Existing plane-based methods in dynamic Gaussian splatting suffer from an unsuitable low-rank assumption, causing feature overlap and poor rendering quality. Although 4D hash encoding provides an explicit representation without low-rank constraints, directly applying it to the entire dynamic scene leads to substantial hash collisions and redundancy. To address these challenges, we present DASH, a real-time dynamic scene rendering framework that employs 4D hash encoding coupled with self-supervised decomposition. Our approach begins with a self-supervised decomposition mechanism that separates dynamic and static components without manual annotations or precomputed masks. Next, we introduce a multiresolution 4D hash encoder for dynamic elements, providing an explicit representation that avoids the low-rank assumption. Finally, we present a spatio-temporal smoothness regularization strategy to mitigate unstable deformation artifacts. Experiments on real-world datasets demonstrate that DASH achieves state-of-the-art dynamic rendering performance, exhibiting enhanced visual quality at real-time speeds of 264 FPS on a single 4090 GPU. Code: https://github.com/chenj02/DASH.