xModel-KD: Cross-modal Knowledge Distillation for 3D Scene Perception using LiDAR

📄 arXiv: 2605.30111v1 📥 PDF

作者: Thenukan Pathmanathan, Kanchan Keisham, Thangarajah Akilan

分类: cs.CV, cs.AI

发布日期: 2026-05-28

备注: 3 figures, and 5 tables

💡 一句话要点

提出xModel-KD，利用跨模态知识蒸馏提升LiDAR点云3D场景感知性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 点云分割 跨模态学习 知识蒸馏 对比学习 3D场景理解

📋 核心要点

  1. 3D点云分割面临标注数据稀缺的挑战，且单一模态（如LiDAR）缺乏纹理信息，限制了表征学习的丰富性和泛化能力。
  2. xModel-KD通过跨模态知识蒸馏，将2D图像的纹理信息迁移到3D点云特征中，实现互补信息的融合，提升分割性能。
  3. 实验结果表明，该方法在点云分割任务中，相较于仅使用LiDAR的方法，mIoU指标提升了2%，验证了跨模态融合的有效性。

📝 摘要（中文）

本文提出了一种新颖的跨模态知识蒸馏框架xModel-KD，用于3D点云分割。该方法通过跨模态对齐学习统一的逐点表示，从而利用2D纹理和3D几何的互补优势。具体而言，我们设计了一个跨模态融合编码器，该编码器通过对比目标进行训练，以强制执行跨多个视图的相应2D和3D表示之间的特征一致性。通过将强大的预训练骨干网络与有针对性的融合策略相结合，所提出的框架有效地将图像中的外观线索转移到具有几何感知的点特征中。实验结果表明，跨模态融合在mIoU上实现了比仅使用LiDAR的基线方法高2%的绝对提升，证明了利用互补的多模态信息对于可扩展且注释高效的3D场景理解的益处。

🔬 方法详解

问题定义：3D场景理解中的点云分割任务，面临着标注数据获取成本高昂的问题，导致训练数据稀缺。此外，仅依赖LiDAR点云进行分割，由于缺乏纹理和外观信息，限制了模型的性能和泛化能力。现有方法通常依赖大规模标注数据集，且未能充分利用多模态信息进行数据高效的密集预测。

核心思路：利用2D图像提供的丰富纹理信息和3D点云提供的精确几何结构之间的互补性。通过跨模态知识蒸馏，将2D图像的知识迁移到3D点云特征中，从而增强点云特征的表达能力，提高分割精度。核心在于学习统一的逐点表示，实现跨模态特征的对齐。

技术框架：xModel-KD框架包含一个跨模态融合编码器，该编码器以2D图像和3D点云作为输入。首先，使用预训练的2D图像骨干网络（如ResNet）提取图像特征，并使用3D点云网络（如PointNet++）提取点云特征。然后，通过设计的融合模块将两种模态的特征进行融合，得到统一的逐点表示。最后，使用分割头对融合后的特征进行分割预测。

关键创新：该方法的核心创新在于提出了一个基于对比学习的跨模态融合编码器，用于学习2D图像和3D点云之间的对应关系，并强制特征一致性。通过对比损失，使得来自同一场景的2D和3D特征在嵌入空间中更加接近，从而实现知识的有效迁移。与现有方法相比，该方法更加注重数据效率，能够在标注数据有限的情况下取得较好的性能。

关键设计：采用了对比损失函数来训练跨模态融合编码器，鼓励来自同一场景的2D和3D特征在嵌入空间中彼此靠近，而来自不同场景的特征则彼此远离。此外，使用了预训练的图像骨干网络，以利用其强大的特征提取能力。融合模块的设计也至关重要，需要有效地将两种模态的特征进行融合，同时保留各自的特点。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，xModel-KD方法在3D点云分割任务中取得了显著的性能提升。相较于仅使用LiDAR的基线方法，该方法在mIoU指标上实现了2%的绝对提升。这一结果验证了跨模态知识蒸馏的有效性，并表明利用互补的多模态信息可以显著提高3D场景感知的性能。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人导航、增强现实等领域。通过融合多模态信息，可以提高3D场景感知的准确性和鲁棒性，从而提升自动驾驶车辆的环境感知能力，帮助机器人更好地理解周围环境，并为AR应用提供更精确的场景重建。

📄 摘要（原文）

Point cloud segmentation is a fundamental task in 3D scene understanding. Its progress is constrained by the high cost and time required for dense 3D annotations, making labeled samples difficult to obtain. Beyond annotation scarcity, different sensing modalities face inherent limitations. 2D images provide rich texture and appearance cues, yet they lack explicit depth and geometric structure. In contrast, 3D point clouds capture accurate spatial geometry but are sparse and contain no texture information. As a result, relying on a single modality restricts the richness of learned representations and weakens generalization. Although recent multi-modal methods that combine 3D point clouds with 2D images have demonstrated strong performance in tasks such as classification and retrieval, they typically depend on large-scale labeled datasets and have not been fully exploited for data-efficient dense prediction. To address these limitations, we propose a novel cross-modal knowledge distillation framework, xModel-KD, for 3D point cloud segmentation. Our method exploits the complementary strengths of 2D texture and 3D geometry by learning unified per-point representations through cross-modal alignment. Specifically, we design a cross-modal fusion encoder trained with a contrastive objective that enforces feature consistency between corresponding 2D and 3D representations across multiple views. By integrating powerful pre-trained backbones with a targeted fusion strategy, the proposed framework effectively transfers appearance cues from images to geometry-aware point features. Experimental results show that cross-modal fusion achieves a 2% absolute improvement in mIoU over a LiDAR-only baseline, demonstrating the benefit of leveraging complementary multi-modal information for scalable and annotation-efficient 3D scene understanding.