Point-SRA: Self-Representation Alignment for 3D Representation Learning

📄 arXiv: 2601.01746v1 📥 PDF

作者: Lintong Wei, Jian Lu, Haozhe Cheng, Jihua Zhu, Kaibing Zhang

分类: cs.CV

发布日期: 2026-01-05

备注: This is an AAAI 2026 accepted paper titled "Point-SRA: Self-Representation Alignment for 3D Representation Learning", spanning 13 pages in total. The submission includes 7 figures (fig1 to fig7) that visually support the technical analysis

💡 一句话要点

Point-SRA：通过自表示对齐进行3D表示学习

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 3D表示学习 自监督学习 掩码自编码器 点云处理 自表示对齐 概率建模 MeanFlow Transformer

📋 核心要点

  1. 现有3D表示学习方法采用固定掩码比例，忽略了多层次表示相关性和内在几何结构，且点级重建假设与点云多样性相悖。
  2. Point-SRA通过为MAE分配不同掩码比例捕获互补信息，并利用MeanFlow Transformer实现多样化概率重建，同时进行双重自表示对齐。
  3. 实验结果表明，Point-SRA在ScanObjectNN、颅内动脉瘤分割和3D目标检测等任务上均取得了显著的性能提升。

📝 摘要（中文）

本文提出了一种名为Point-SRA的3D表示学习方法，该方法通过自蒸馏和概率建模来对齐表示。针对现有方法中固定掩码比例忽略多层次表示相关性和内在几何结构，以及依赖于与点云多样性相悖的点级重建假设等问题，Point-SRA为MAE分配不同的掩码比例以捕获互补的几何和语义信息，同时MeanFlow Transformer (MFT)利用跨模态条件嵌入来实现多样化的概率重建。分析表明，MFT中不同时间步的表示也表现出互补性。因此，在MAE和MFT层面都提出了双重自表示对齐机制。最后，设计了一种流条件微调架构，以充分利用通过MeanFlow学习到的点云分布。Point-SRA在ScanObjectNN上优于Point-MAE 5.37%，在颅内动脉瘤分割中，动脉的平均IoU达到96.07%，动脉瘤的平均IoU达到86.87%。对于3D目标检测，Point-SRA实现了47.3%的AP@50，超过了MaskPoint 5.12%。

🔬 方法详解

问题定义：现有基于Masked Autoencoders (MAE) 的3D表示学习方法通常采用固定的掩码比例，这忽略了点云数据中存在的多层次表示相关性和内在几何结构。此外，现有方法依赖于点级别的重建假设，而这与点云本身的多样性相冲突，限制了模型的泛化能力。

核心思路：Point-SRA的核心思路是通过自蒸馏和概率建模来对齐不同层次的表示。具体来说，通过为MAE分配不同的掩码比例，模型可以学习到互补的几何和语义信息。同时，利用MeanFlow Transformer (MFT) 和跨模态条件嵌入，实现更加多样化的概率重建，从而更好地捕捉点云的分布。

技术框架：Point-SRA的整体框架包含以下几个主要模块：1) Masked Autoencoder (MAE)：使用不同的掩码比例对输入点云进行掩码。2) MeanFlow Transformer (MFT)：利用跨模态条件嵌入进行概率重建。3) 双重自表示对齐机制：在MAE和MFT层面进行自表示对齐。4) 流条件微调架构：利用MeanFlow学习到的点云分布进行微调。

关键创新：Point-SRA的关键创新在于提出了双重自表示对齐机制。该机制在MAE和MFT两个层面进行自表示对齐，从而更好地利用不同层次的表示信息。此外，利用MeanFlow进行概率建模，可以更好地捕捉点云的分布，从而提高模型的重建能力和泛化能力。

关键设计：在MAE部分，采用了不同的掩码比例，例如20%、50%和80%，以捕获不同层次的几何和语义信息。在MFT部分，使用了跨模态条件嵌入，将掩码后的点云信息作为条件，从而实现更加多样化的概率重建。损失函数包括重建损失和自表示对齐损失。流条件微调架构利用MeanFlow学习到的点云分布，通过最小化KL散度来微调模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Point-SRA在多个benchmark数据集上取得了显著的性能提升。在ScanObjectNN上，Point-SRA优于Point-MAE 5.37%。在颅内动脉瘤分割任务中，动脉的平均IoU达到96.07%，动脉瘤的平均IoU达到86.87%。在3D目标检测任务中，Point-SRA实现了47.3%的AP@50，超过了MaskPoint 5.12%。这些结果表明，Point-SRA在3D表示学习方面具有显著的优势。

🎯 应用场景

Point-SRA在医学图像分析、自动驾驶、机器人导航等领域具有广泛的应用前景。例如，在医学图像分析中，可以用于颅内动脉瘤的分割和诊断；在自动驾驶中，可以用于3D目标检测和场景理解；在机器人导航中，可以用于环境建模和路径规划。该研究的实际价值在于提高了3D表示学习的性能和泛化能力，为相关应用提供了更可靠的技术支持。未来，可以进一步探索Point-SRA在其他领域的应用，并研究如何将其与其他技术相结合，以实现更强大的功能。

📄 摘要（原文）

Masked autoencoders (MAE) have become a dominant paradigm in 3D representation learning, setting new performance benchmarks across various downstream tasks. Existing methods with fixed mask ratio neglect multi-level representational correlations and intrinsic geometric structures, while relying on point-wise reconstruction assumptions that conflict with the diversity of point cloud. To address these issues, we propose a 3D representation learning method, termed Point-SRA, which aligns representations through self-distillation and probabilistic modeling. Specifically, we assign different masking ratios to the MAE to capture complementary geometric and semantic information, while the MeanFlow Transformer (MFT) leverages cross-modal conditional embeddings to enable diverse probabilistic reconstruction. Our analysis further reveals that representations at different time steps in MFT also exhibit complementarity. Therefore, a Dual Self-Representation Alignment mechanism is proposed at both the MAE and MFT levels. Finally, we design a Flow-Conditioned Fine-Tuning Architecture to fully exploit the point cloud distribution learned via MeanFlow. Point-SRA outperforms Point-MAE by 5.37% on ScanObjectNN. On intracranial aneurysm segmentation, it reaches 96.07% mean IoU for arteries and 86.87% for aneurysms. For 3D object detection, Point-SRA achieves 47.3% AP@50, surpassing MaskPoint by 5.12%.