GRIP: Gaussian Rendering as a Cross-Modal Bridge for Image-to-Point Cloud Registration

📄 arXiv: 2609.25966v1 📥 PDF

作者: Karim Slimani, Catherine Achard, Eric Marchand, Brahim Tamadazte

分类: cs.CV

发布日期: 2026-09-22

💡 一句话要点

提出GRIP框架以解决图像与点云配准问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 图像配准 点云处理 高斯渲染 跨模态学习 深度学习

📋 核心要点

  1. 现有方法在图像描述符与点云描述符之间存在结构不匹配，导致配准精度不足。
  2. GRIP通过高斯特征渲染将3D点特征映射到图像网格，利用像素对齐的变换器进行特征融合。
  3. 实验结果显示，GRIP在多个数据集上实现了最先进的内点比率和竞争力的配准召回率。

📝 摘要（中文）

本文介绍了GRIP，一个基于姿态条件的精细化框架，用于像素到点的匹配和2D到3D的配准。GRIP在给定初始粗略姿态估计的情况下，通过高斯特征渲染将学习到的3D点特征柔和地映射到图像网格上，从而解决了基于网格的图像描述符与无序点云描述符之间的结构不匹配问题。渲染的点特征图与图像特征通过像素对齐的变换器融合，使视觉语义和几何线索在共享的2D表示中相互作用。经过精细化的特征解码和传播，最终实现了密集对应估计和姿态的精细化。实验结果表明，在RGB-D Scenes V2和7 Scenes数据集上，GRIP在内点比率和配准召回率上均表现出色，尤其在严格的评估阈值下更具竞争力。

🔬 方法详解

问题定义：本文旨在解决图像与点云之间的配准问题，现有方法在处理图像描述符与无序点云描述符时存在结构不匹配的挑战，导致配准精度不足。

核心思路：GRIP框架通过高斯特征渲染技术，将学习到的3D点特征柔和地映射到图像网格上，从而有效解决了描述符之间的结构不匹配问题。

技术框架：GRIP的整体架构包括初始姿态估计、高斯特征渲染、特征融合和精细化步骤。首先，输入图像和点云数据，进行初步的姿态估计；然后，通过高斯特征渲染将3D点特征映射到图像上；接着，利用像素对齐的变换器进行特征融合；最后，经过解码和传播，进行密集对应估计和姿态精细化。

关键创新：GRIP的主要创新在于引入高斯特征渲染作为跨模态桥梁，使得图像特征与点云特征能够在共享的2D表示中进行有效交互，这一设计显著提升了配准精度。

关键设计：在关键设计方面，GRIP采用了像素对齐的变换器进行特征融合，确保了图像特征与渲染特征的高效对齐。此外，损失函数的设计也考虑了特征的语义和几何信息，以优化最终的姿态估计。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GRIP在RGB-D Scenes V2和7 Scenes数据集上实现了最先进的内点比率，具体表现为在严格评估阈值下的配准召回率显著提高，展现出强大的性能优势。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、增强现实和自动驾驶等场景。在这些领域中，准确的图像与点云配准能够显著提升环境感知和决策能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

This paper introduces GRIP, a pose-conditioned refinement framework for pixel-to-point matching and 2D to 3D registration. Given an initial coarse pose estimate, GRIP addresses the structural mismatch between grid based image descriptors and unordered point cloud descriptors by softly rendering learned 3D point features onto the image grid through Gaussian feature splatting. The rendered point derived feature map is then fused with image features by a pixel aligned transformer, enabling visual semantic and geometric cues to interact in a shared 2D representation. The refined features are decoded and propagated to finer resolutions for dense correspondence estimation and final pose refinement. Experiments on RGB D Scenes V2 and 7 Scenes demonstrate state of the art inlier ratio and competitive registration recall, with stronger performance under stricter evaluation thresholds.