Boosting Cross-Domain Point Classification via Distilling Relational Priors from 2D Transformers
作者: Longkun Zou, Wanru Zhu, Ke Chen, Lihua Guo, Kailing Guo, Kui Jia, Yaowei Wang
分类: cs.CV
发布日期: 2024-07-26 (更新: 2024-08-05)
🔗 代码/项目: GITHUB
💡 一句话要点
提出关系先验蒸馏(RPD)方法，提升点云跨域分类性能
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 点云分类 无监督域适应 知识蒸馏 Transformer 关系先验 自监督学习 三维重建
📋 核心要点
- 传统3D网络忽略局部几何体之间的拓扑结构，导致跨域泛化能力受限，难以应对点云形状变化和表面不完整性。
- 利用2D图像Transformer学习到的关系先验知识，通过知识蒸馏的方式迁移到3D点云模型，增强模型对拓扑结构的理解。
- 通过自监督掩码点云重建任务，结合多视图图像特征，进一步提升模型对3D几何信息的利用能力，实验结果表明该方法在跨域点云分类任务中表现出色。
📝 摘要（中文）
由于局部区域点集形状变化大和全局视角下表面不完整，学习判别性点云表示具有挑战性，在无监督域适应(UDA)中更为严重。传统3D网络主要关注局部几何细节，忽略局部几何体之间的拓扑结构，限制了跨域泛化能力。受视觉Transformer在图像任务中成功启发，我们提出一种新的关系先验蒸馏(RPD)方法，从大规模图像上训练的Transformer中提取关系先验，增强跨域表示与对象拓扑先验的一致性。我们建立了一个2D教师和3D学生模型共享的参数冻结预训练Transformer模块，并采用在线知识蒸馏策略对3D学生模型进行语义正则化。此外，我们引入了一种新的自监督任务，使用对应的掩码多视图图像特征重建掩码点云块，从而使模型能够融合3D几何信息。在PointDA-10和Sim-to-Real数据集上的实验验证了该方法在点云分类UDA任务中达到了最先进的性能。
🔬 方法详解
问题定义：论文旨在解决无监督域适应(UDA)场景下的点云分类问题。现有3D网络通常侧重于局部几何细节，忽略了局部几何体之间的拓扑关系，导致模型在跨域泛化能力上存在不足。点云数据本身存在的形状变化大和表面不完整等问题进一步加剧了这一挑战。
核心思路：论文的核心思路是从在大量图像数据上预训练的2D Transformer模型中提取关系先验知识，并将其迁移到3D点云模型中。Transformer模型能够捕捉图像中局部patches之间的长程依赖关系，从而学习到更鲁棒的拓扑结构信息。通过知识蒸馏的方式，可以将这些关系先验知识有效地传递给3D点云模型，提升其跨域泛化能力。
技术框架：整体框架包含一个2D教师模型和一个3D学生模型。2D教师模型是一个预训练的Transformer，负责提取图像的关系先验。3D学生模型是需要训练的点云分类模型。框架包含以下几个主要模块：1) 共享的Transformer模块：2D教师和3D学生模型共享一个参数冻结的预训练Transformer模块，用于提取特征。2) 知识蒸馏模块：采用在线知识蒸馏策略，利用2D教师模型的输出对3D学生模型进行语义正则化。3) 自监督重建模块：引入自监督掩码点云重建任务，利用多视图图像特征重建掩码的点云块，增强模型对3D几何信息的理解。
关键创新：论文的关键创新在于：1) 提出了一种新的关系先验蒸馏(RPD)方法，将2D图像Transformer学习到的关系先验知识迁移到3D点云模型中。2) 引入了一种新的自监督重建任务，利用多视图图像特征重建掩码的点云块，增强模型对3D几何信息的理解。与现有方法相比，该方法更注重学习点云数据中蕴含的拓扑结构信息，从而提升模型的跨域泛化能力。
关键设计：1) 2D教师模型采用预训练的ViT模型，并冻结其参数。2) 知识蒸馏损失函数采用KL散度损失，用于衡量2D教师模型和3D学生模型输出概率分布的差异。3) 自监督重建任务采用Chamfer Distance作为损失函数，用于衡量重建的点云块与原始点云块之间的距离。4) 3D学生模型采用PointNet++作为backbone，并在此基础上进行改进，以更好地适应关系先验知识的迁移。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在PointDA-10和Sim-to-Real数据集上均取得了state-of-the-art的性能。在PointDA-10数据集上，该方法相比于之前的最佳方法提升了约2-3个百分点。在Sim-to-Real数据集上，该方法也取得了显著的性能提升，验证了其在跨域点云分类任务中的有效性。
🎯 应用场景
该研究成果可应用于自动驾驶、机器人导航、三维场景理解等领域。通过提升点云模型的跨域泛化能力，可以减少对大量标注数据的依赖，降低模型部署成本，加速相关技术的落地应用。例如，在自动驾驶中，可以利用该方法提升车辆对不同环境和光照条件下的感知能力。
📄 摘要（原文）
Semantic pattern of an object point cloud is determined by its topological configuration of local geometries. Learning discriminative representations can be challenging due to large shape variations of point sets in local regions and incomplete surface in a global perspective, which can be made even more severe in the context of unsupervised domain adaptation (UDA). In specific, traditional 3D networks mainly focus on local geometric details and ignore the topological structure between local geometries, which greatly limits their cross-domain generalization. Recently, the transformer-based models have achieved impressive performance gain in a range of image-based tasks, benefiting from its strong generalization capability and scalability stemming from capturing long range correlation across local patches. Inspired by such successes of visual transformers, we propose a novel Relational Priors Distillation (RPD) method to extract relational priors from the well-trained transformers on massive images, which can significantly empower cross-domain representations with consistent topological priors of objects. To this end, we establish a parameter-frozen pre-trained transformer module shared between 2D teacher and 3D student models, complemented by an online knowledge distillation strategy for semantically regularizing the 3D student model. Furthermore, we introduce a novel self-supervised task centered on reconstructing masked point cloud patches using corresponding masked multi-view image features, thereby empowering the model with incorporating 3D geometric information. Experiments on the PointDA-10 and the Sim-to-Real datasets verify that the proposed method consistently achieves the state-of-the-art performance of UDA for point cloud classification. The source code of this work is available at https://github.com/zou-longkun/RPD.git.