I2PRef: Image-Driven Point Completion with Iterative Refinement

📄 arXiv: 2605.26914v1 📥 PDF

作者: Azhar Hussian, Marina Ritthaler, André Kaup, Vasileios Belagiannis

分类: cs.CV

发布日期: 2026-05-26

🔗 代码/项目: GITHUB

💡 一句话要点

提出I2PRef，通过图像驱动的点云补全与迭代优化实现高质量3D重建

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 点云补全 图像驱动 三维重建 Transformer 自注意力 交叉注意力 深度学习

📋 核心要点

  1. 现有方法依赖3D输入或将图像作为辅助信息，限制了点云补全的性能和泛化能力。
  2. 提出I2PRef框架，利用I2P模块从图像直接生成粗略点云，再通过P2P模块迭代优化细节。
  3. 实验表明，该方法在ShapeNet-ViPC数据集上取得了SOTA结果，Chamfer距离相对提升12.3%。

📝 摘要（中文）

本文提出了一种图像条件下的点云补全方法，该方法将图像视为主要的几何信息来源，而非辅助引导。为此，我们引入了一个图像到点云(I2P)模块，可以直接从单个RGB图像重建完整的点云，而无需3D输入。此外，我们还引入了一个基于Transformer的点到点(P2P)优化模块，该模块利用点云token和图像特征之间的自注意力和交叉注意力来迭代优化粗糙的I2P输出。I2P模块使图像编码器能够学习丰富的几何表示，而P2P模块逐步恢复精细的细节。与依赖辅助损失或融合模块的现有多模态方法不同，我们显式的I2P任务提供了强大的、仅基于图像的几何感知先验。在ShapeNet-ViPC上的大量实验表明，我们的方法实现了最先进的补全性能，相对于现有方法，Chamfer距离相对提高了12.3%。代码已在https://github.com/AzharSindhi/I2PRef.git上发布。

🔬 方法详解

问题定义：现有方法在点云补全任务中，通常依赖不完整的3D扫描数据作为输入，或者将图像作为辅助信息来指导补全过程。这些方法要么受限于3D数据的质量，要么无法充分利用图像中蕴含的几何信息，导致补全效果不佳。因此，如何仅利用RGB图像实现高质量的点云补全是一个关键问题。

核心思路：本文的核心思路是将图像作为主要的几何信息来源，通过一个显式的图像到点云的转换模块(I2P)直接从图像生成粗略的点云。然后，利用一个点到点的优化模块(P2P)迭代地优化这个粗略的点云，逐步恢复精细的细节。这种设计使得模型能够充分利用图像中的几何信息，并避免了对不完整3D数据的依赖。

技术框架：I2PRef框架主要包含两个模块：I2P模块和P2P模块。首先，I2P模块接收RGB图像作为输入，通过一个图像编码器提取图像特征，然后利用这些特征生成一个粗略的点云。接下来，P2P模块接收I2P模块生成的粗略点云和图像特征作为输入，通过自注意力和交叉注意力机制，迭代地优化点云的几何结构，逐步恢复精细的细节。最终，P2P模块输出补全后的点云。

关键创新：该方法最重要的技术创新点在于提出了显式的I2P模块，该模块能够直接从图像生成粗略的点云，而无需3D输入。这与现有方法将图像作为辅助信息的方式不同，使得模型能够更加充分地利用图像中的几何信息。此外，P2P模块利用自注意力和交叉注意力机制，能够有效地优化点云的几何结构，逐步恢复精细的细节。

关键设计：I2P模块采用了一个图像编码器（具体结构未知）来提取图像特征，然后利用这些特征生成一个粗略的点云。P2P模块采用了一个基于Transformer的架构，利用自注意力机制来学习点云中各个点之间的关系，并利用交叉注意力机制来融合图像特征和点云特征。损失函数（具体形式未知）用于衡量补全后的点云与真实点云之间的差异，并指导模型的训练。

📊 实验亮点

实验结果表明，I2PRef在ShapeNet-ViPC数据集上取得了state-of-the-art的性能，Chamfer Distance指标相较于现有方法相对提升了12.3%。这表明该方法能够有效地利用图像信息进行点云补全，并生成高质量的3D重建结果。具体的基线模型和详细的实验设置未知。

🎯 应用场景

该研究成果可广泛应用于三维重建、自动驾驶、机器人导航等领域。例如，在自动驾驶中，可以利用车载摄像头拍摄的图像，实时重建周围环境的三维点云，从而提高车辆的感知能力和安全性。在机器人导航中，可以利用机器人携带的摄像头拍摄的图像，重建周围环境的三维地图，从而实现自主导航。

📄 摘要（原文）

We present an image-conditioned point cloud completion approach that treats images as the primary geometric source rather than a secondary guide. To this end, we introduce an Image-to-Point (I2P) module that can reconstruct complete point clouds directly from a single RGB image, with no need for 3D inputs. Additionally, we introduce a transformer-based Point-to-Point (P2P) refinement module that uses self- and cross-attention between point tokens and image features to iteratively refine the coarse I2P output. The I2P module enables the image encoder to learn rich geometric representations, while the P2P module progressively recovers fine-grained details. Unlike existing multimodal methods that rely on auxiliary losses or fusion modules, our explicit I2P task provides a strong, geometry-aware prior based on images alone. Extensive experiments on ShapeNet-ViPC demonstrate state-of-the-art completion performance with a 12.3% relative Chamfer Distance improvement over prior methods. Code is available at: https://github.com/AzharSindhi/I2PRef.git