GeGS-PCR: Effective and Robust 3D Point Cloud Registration with Two-Stage Color-Enhanced Geometric-3DGS Fusion

📄 arXiv: 2604.17721v1 📥 PDF

作者: Jiayi Tian, Haiduo Huang, Tian Xia, Wenzhe Zhao, Pengju Ren

分类: cs.CV, cs.AI

发布日期: 2026-04-20

💡 一句话要点

提出GeGS-PCR，融合几何、颜色和高斯信息，解决低重叠和不完整点云配准难题。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 点云配准 几何特征 颜色特征 3D高斯溅射 低重叠场景 鲁棒性 可微渲染 LORA优化

📋 核心要点

  1. 传统点云配准方法在低重叠和不完整场景中表现不佳，尤其是在仅依赖几何特征时。
  2. GeGS-PCR通过融合几何、颜色和高斯信息，并结合颜色编码器和几何-3DGS模块，实现更鲁棒的配准。
  3. 实验表明，GeGS-PCR在ColorKitti、Color3DMatch和Color3DLoMatch数据集上取得了SOTA性能，精度显著提升。

📝 摘要（中文）

本文提出了一种名为GeGS-PCR的新型两阶段方法，旨在解决使用颜色信息的点云配准问题。传统方法仅依赖几何特征，在低重叠和不完整场景中表现不佳。GeGS-PCR融合了几何、颜色和高斯信息，实现鲁棒配准。该方法包含一个专用颜色编码器，通过提取原始点云的多层次几何和颜色数据来增强颜色特征。引入的几何-3DGS模块编码彩色超点的局部邻域信息，确保全局不变的几何-颜色上下文。利用LORA优化，在保持3DGS表达能力的同时维持高性能。此外，快速可微渲染用于优化配准过程，从而改善收敛性。为了进一步提高性能，提出了一种联合光度损失，利用几何和颜色特征。这使得在具有极低点云重叠的挑战性条件下也能实现强大的性能。通过对Kitti数据集进行着色得到ColorKitti，并在Color3DMatch和Color3DLoMatch数据集上进行了验证。该方法实现了最先进的性能，配准召回率高达99.9%，相对旋转误差低至0.013，相对平移误差低至0.024，精度提高了至少2倍。

🔬 方法详解

问题定义：论文旨在解决彩色点云配准问题，特别是在低重叠和不完整数据场景下，传统方法仅依赖几何特征，难以有效配准。现有方法无法充分利用颜色信息，导致在复杂场景下的鲁棒性较差。

核心思路：核心思路是融合几何、颜色和高斯信息，构建一个更具判别性的特征表示。通过颜色编码器增强颜色特征，并利用几何-3DGS模块编码局部邻域信息，从而获得全局不变的几何-颜色上下文。这种融合方法旨在提高在低重叠和不完整场景下的配准鲁棒性。

技术框架：GeGS-PCR是一个两阶段的方法。第一阶段，使用颜色编码器提取多层次几何和颜色特征，并利用几何-3DGS模块编码局部信息。第二阶段，利用快速可微渲染优化配准过程，并使用联合光度损失进一步提高性能。整体流程包括特征提取、特征匹配、初始配准和精细配准等步骤。

关键创新：关键创新在于几何-3DGS模块的设计，它能够有效地融合几何和颜色信息，并编码局部邻域关系，从而生成更具判别性的特征表示。此外，利用LORA优化保持了3DGS的表达能力，同时提高了计算效率。联合光度损失的引入也进一步提升了配准精度。

关键设计：颜色编码器采用多层卷积神经网络结构，提取不同层次的颜色特征。几何-3DGS模块使用高斯分布来表示局部邻域信息，并结合几何和颜色特征进行编码。LORA优化用于减少训练参数，提高训练效率。联合光度损失结合了几何误差和颜色误差，从而更全面地评估配准结果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GeGS-PCR在Color3DMatch和Color3DLoMatch数据集上取得了显著的性能提升。在Color3DMatch数据集上，配准召回率达到了99.9%，相对旋转误差低至0.013，相对平移误差低至0.024，精度提高了至少2倍。这些结果表明，该方法在低重叠和不完整场景下具有强大的配准能力。

🎯 应用场景

该研究成果可应用于机器人导航、三维重建、自动驾驶、增强现实等领域。在这些领域中，精确的点云配准是至关重要的。尤其是在光照变化剧烈、遮挡严重或数据不完整的场景下，该方法能够提供更鲁棒和准确的配准结果，从而提高系统的整体性能。

📄 摘要（原文）

We address the challenge of point cloud registration using color information, where traditional methods relying solely on geometric features often struggle in low-overlap and incomplete scenarios. To overcome these limitations, we propose GeGS-PCR, a novel two-stage method that combines geometric, color, and Gaussian information for robust registration. Our approach incorporates a dedicated color encoder that enhances color features by extracting multi-level geometric and color data from the original point cloud. We introduce the \textbf{Ge}ometric-3D\textbf{GS} module, which encodes the local neighborhood information of colored superpoints to ensure a globally invariant geometric-color context. Leveraging LORA optimization, we maintain high performance while preserving the expressiveness of 3DGS. Additionally, fast differentiable rendering is utilized to refine the registration process, leading to improved convergence. To further enhance performance, we propose a joint photometric loss that exploits both geometric and color features. This enables strong performance in challenging conditions with extremely low point cloud overlap. We validate our method by colorizing the Kitti dataset as ColorKitti and testing on both Color3DMatch and Color3DLoMatch datasets. Our method achieves state-of-the-art performance with \textit{Registration Recall} at 99.9\%, \textit{Relative Rotation Error} as low as 0.013, and \textit{Relative Translation Error} as low as 0.024, improving precision by at least a factor of 2.