Angle-I2P: Angle-Consistent-Aware Hierarchical Attention for Cross-Modality Outlier Rejection

📄 arXiv: 2605.04541v1 📥 PDF

作者: Muyao Peng, Shun Zou, Pei An, You Yang, Qiong Liu

分类: cs.CV

发布日期: 2026-05-06

💡 一句话要点

Angle-I2P：基于角度一致性分层注意力的跨模态外点剔除方法

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 图像到点云配准 外点剔除 角度一致性 分层注意力 几何约束

📋 核心要点

  1. 现有基于深度学习的图像到点云配准方法在低内点率情况下，难以获得准确的配准结果。
  2. 提出Angle-I2P，利用角度一致性几何约束和分层注意力机制，有效剔除外点，提高配准精度。
  3. 实验结果表明，该方法在多个数据集上取得了state-of-the-art的性能，显著提升了内点率和配准召回率。

📝 摘要（中文）

图像到点云配准（I2P）是机器人操作、抓取和定位等应用中的一项基本任务。现有的基于深度学习的I2P方法旨在学习到的表征空间中对齐图像和点云特征以建立对应关系，并取得了可喜的成果。然而，当初始匹配对的内点率较低时，传统的Perspective-n-Points（PnP）方法可能难以获得准确的结果。为了解决这个限制，我们提出了Angle-I2P，一个利用角度一致性几何约束和分层注意力的外点剔除网络。首先，我们设计了一种尺度不变的、基于角度一致性的跨模态几何约束。这种显式的几何约束引导模型区分内点和外点。此外，我们提出了一种全局到局部的分层注意力机制，有效地过滤掉刚性变换下几何不一致的匹配，从而提高内点率（IR）和配准召回率（RR）。实验结果表明，我们的方法在7Scenes、RGBD Scenes V2和一个自收集的数据集上实现了最先进的性能，并在所有基准测试中都取得了持续的改进。

🔬 方法详解

问题定义：论文旨在解决图像到点云配准（I2P）中，当初始匹配对的内点率较低时，传统PnP方法配准精度低的问题。现有方法对外点剔除能力不足，导致配准结果不稳定。

核心思路：论文的核心思路是利用跨模态几何约束（角度一致性）来区分内点和外点，并结合分层注意力机制来过滤掉几何不一致的匹配。通过显式的几何约束和注意力机制，提高内点率，从而提升配准精度。

技术框架：Angle-I2P网络主要包含以下几个模块：1) 特征提取模块：提取图像和点云的特征。2) 匹配模块：建立图像和点云特征之间的初始匹配。3) 角度一致性约束模块：计算匹配对之间的角度一致性得分。4) 分层注意力模块：利用全局到局部的注意力机制，根据角度一致性得分过滤外点。5) PnP求解模块：利用剩余的内点进行PnP求解，得到最终的配准结果。

关键创新：论文的关键创新在于：1) 提出了尺度不变的跨模态角度一致性几何约束，能够有效区分内点和外点。2) 设计了全局到局部的分层注意力机制，能够有效地过滤掉几何不一致的匹配。3) 将几何约束和注意力机制相结合，提高了外点剔除的鲁棒性和准确性。

关键设计：角度一致性约束通过计算图像特征向量和点云特征向量之间的夹角，并比较匹配对之间的夹角差异来实现。分层注意力机制包含全局注意力和局部注意力两个阶段。全局注意力关注所有匹配对之间的关系，局部注意力关注每个匹配对周围的局部邻域。损失函数包括角度一致性损失和配准损失，用于优化网络的参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Angle-I2P在7Scenes、RGBD Scenes V2和自收集数据集上均取得了state-of-the-art的性能。实验结果表明，该方法能够显著提高内点率和配准召回率，尤其是在低内点率的情况下，性能提升更为明显。例如，在某个数据集上，该方法的内点率比现有最佳方法提高了10%以上。

🎯 应用场景

该研究成果可应用于机器人操作、抓取、定位等领域。通过提高图像到点云配准的精度和鲁棒性，可以提升机器人感知环境的能力，从而实现更精确的物体识别、姿态估计和运动规划。此外，该方法还可以应用于增强现实、三维重建等领域。

📄 摘要（原文）

Image-to-point-cloud registration (I2P) is a fundamental task in robotic applications such as manipulation,grasping, and localization. Existing deep learning-based I2P methods seek to align image and point cloud features in a learned representation space to establish correspondences, and have achieved promising results. However, when the inlier ratio of the initial matching pairs is low, conventional Perspective-n-Points (PnP) methods may struggle to achieve accurate results. To address this limitation, we propose Angle-I2P, an outlier rejection network that leverages angle-consistent geometric constraints and hierarchical attention. First, we design a scale-invariant, crossmodality geometric constraint based on angular consistency. This explicit geometric constraint guides the model in distinguishing inliers from outliers. Furthermore, we propose a global-tolocal hierarchical attention mechanism that effectively filters out geometrically inconsistent matches under rigid transformation, thereby improving the Inlier Ratio (IR) and Registration Recall (RR). Experimental results demonstrate that our method achieves state-of-the-art performance on the 7Scenes, RGBD Scenes V2, and a self-collected dataset, with consistent improvements across all benchmarks.