DUGAE: Unified Geometry and Attribute Enhancement via Spatiotemporal Correlations for G-PCC Compressed Dynamic Point Clouds

📄 arXiv: 2603.26183v1 📥 PDF

作者: Pan Zhao, Hui Yuan, Chang Sun, Chongzhen Tian, Raouf Hamzaoui, Sam Kwong

分类: cs.CV

发布日期: 2026-03-27

🔗 代码/项目: GITHUB

💡 一句话要点

DUGAE：利用时空相关性统一增强G-PCC压缩动态点云的几何与属性

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 动态点云 点云压缩 几何增强 属性增强 时空相关性 运动补偿 G-PCC

📋 核心要点

  1. 现有点云后解码质量增强方法主要针对静态数据，忽略了动态点云序列中存在的时空相关性。
  2. DUGAE框架通过动态几何增强网络和动态属性增强网络，显式地建模和利用点云序列的时空相关性，从而提升增强效果。
  3. 实验结果表明，DUGAE在几何和属性增强方面均显著优于现有方法，并在BD-PSNR和感知质量方面取得了显著提升。

📝 摘要（中文）

本文提出了一种统一的几何和属性增强框架（DUGAE），用于G-PCC压缩的动态点云，该框架显式地利用了几何和属性中帧间的时空相关性。首先，一个基于稀疏卷积（SPConv）和特征域几何运动补偿（GMC）的动态几何增强网络（DGE-Net）对齐并聚合时空信息。然后，一个细节感知的k近邻（DA-KNN）重着色模块将原始属性映射到编码器侧增强的几何上，从而提高映射的完整性并保留属性细节。最后，一个具有专用时间特征提取和特征域属性运动补偿（AMC）的动态属性增强网络（DAE-Net）通过建模复杂的时空相关性来细化属性。在来自8iVFB v2、Owlii和MVUB数据集的七个动态点云上，DUGAE显著提高了最新G-PCC基于几何的实体内容测试模型（GeS-TM v10）的性能。对于几何（D1），它实现了平均11.03 dB的BD-PSNR增益和93.95%的BD-bitrate降低。对于亮度分量，它实现了4.23 dB的BD-PSNR增益和66.61%的BD-bitrate降低。DUGAE还提高了感知质量（如PCQM所衡量），并且优于V-PCC。我们的源代码将在GitHub上发布。

🔬 方法详解

问题定义：现有针对点云的后处理增强方法通常是为静态点云设计的，无法有效利用动态点云序列中存在的时空相关性。这导致增强效果受限，尤其是在压缩失真较为严重的情况下，难以恢复高质量的点云数据。

核心思路：本文的核心思路是显式地建模和利用动态点云序列中的时空相关性，分别在几何和属性两个方面进行增强。通过运动补偿的方式，将相邻帧的信息对齐并融合，从而提高增强的准确性和鲁棒性。

技术框架：DUGAE框架包含三个主要模块：动态几何增强网络（DGE-Net）、细节感知的k近邻重着色模块（DA-KNN）和动态属性增强网络（DAE-Net）。DGE-Net负责几何信息的增强，DA-KNN将原始属性映射到增强后的几何上，DAE-Net负责属性信息的增强。整个流程首先对几何进行增强，然后将属性映射到增强后的几何上，最后对属性进行精细化增强。

关键创新：DUGAE的关键创新在于：1) 显式地建模和利用了动态点云序列中的时空相关性，这是现有方法所忽略的。2) 提出了基于特征域的几何运动补偿（GMC）和属性运动补偿（AMC）方法，能够更准确地对齐和融合时空信息。3) 设计了细节感知的k近邻重着色模块（DA-KNN），能够更好地保留属性细节。

关键设计：DGE-Net和DAE-Net均采用了稀疏卷积（SPConv）来处理点云数据，以提高计算效率。GMC和AMC模块通过学习运动向量来实现时空信息的对齐。DA-KNN模块通过考虑几何细节来选择k近邻，从而提高重着色的准确性。损失函数的设计也至关重要，需要平衡几何和属性增强的效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DUGAE在多个动态点云数据集上进行了评估，结果表明，相对于G-PCC GeS-TM v10，DUGAE在几何（D1）上实现了平均11.03 dB的BD-PSNR增益和93.95%的BD-bitrate降低，在亮度分量上实现了4.23 dB的BD-PSNR增益和66.61%的BD-bitrate降低。此外，DUGAE还提高了感知质量（PCQM），并优于V-PCC。

🎯 应用场景

DUGAE可应用于各种需要高质量动态点云数据的场景，例如：沉浸式虚拟现实、自动驾驶、三维重建、远程呈现等。通过提高压缩点云的质量，DUGAE可以降低传输带宽需求，提升用户体验，并促进相关技术的普及和应用。

📄 摘要（原文）

Existing post-decoding quality enhancement methods for point clouds are designed for static data and typically process each frame independently. As a result, they cannot effectively exploit the spatiotemporal correlations present in point cloud sequences.We propose a unified geometry and attribute enhancement framework (DUGAE) for G-PCC compressed dynamic point clouds that explicitly exploits inter-frame spatiotemporal correlations in both geometry and attributes. First, a dynamic geometry enhancement network (DGE-Net) based on sparse convolution (SPConv) and feature-domain geometry motion compensation (GMC) aligns and aggregates spatiotemporal information. Then, a detail-aware k-nearest neighbors (DA-KNN) recoloring module maps the original attributes onto the enhanced geometry at the encoder side, improving mapping completeness and preserving attribute details. Finally, a dynamic attribute enhancement network (DAE-Net) with dedicated temporal feature extraction and feature-domain attribute motion compensation (AMC) refines attributes by modeling complex spatiotemporal correlations. On seven dynamic point clouds from the 8iVFB v2, Owlii, and MVUB datasets, DUGAE significantly enhanced the performance of the latest G-PCC geometry-based solid content test model (GeS-TM v10). For geometry (D1), it achieved an average BD-PSNR gain of 11.03 dB and a 93.95% BD-bitrate reduction. For the luma component, it achieved a 4.23 dB BD-PSNR gain with a 66.61% BD-bitrate reduction. DUGAE also improved perceptual quality (as measured by PCQM) and outperformed V-PCC. Our source code will be released on GitHub at: https://github.com/yuanhui0325/DUGAE