Hierarchical Feature Learning for Medical Point Clouds via State Space Model

📄 arXiv: 2504.13015v2 📥 PDF

作者: Guoqing Zhang, Jingyun Yang, Yang Li

分类: cs.CV

发布日期: 2025-04-17 (更新: 2025-10-18)

备注: 10 pages, 3 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于状态空间模型的医学点云分层特征学习框架，提升解剖结构分类、补全和分割性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 医学点云 状态空间模型 分层特征学习 点云序列化 解剖结构分析

📋 核心要点

  1. 现有方法在医学点云建模方面研究不足，无法充分挖掘其在疾病诊断和治疗中的潜力。
  2. 提出基于状态空间模型的分层特征学习框架，结合KNN查询和扫描策略，有效处理医学点云。
  3. 构建大规模医学点云数据集MedPointS，实验结果表明该方法在分类、补全和分割任务中表现优异。

📝 摘要（中文）

本文提出了一种基于状态空间模型（SSM）的分层特征学习框架，用于医学点云理解。针对医学点云在疾病诊断和治疗中的巨大潜力，该框架通过最远点采样将输入点云下采样到多个层级。在每个层级，执行一系列k近邻（KNN）查询以聚合多尺度结构信息。为了辅助SSM处理点云，引入了坐标顺序和由内而外的扫描策略，以实现不规则点云的有效序列化。通过普通和分组Point SSM块，从短邻域序列和长点序列逐步计算点特征，以捕获局部模式和长程依赖关系。为了评估该方法，构建了一个名为MedPointS的大规模医学点云数据集，用于解剖结构分类、补全和分割。在MedPointS上进行的大量实验表明，该方法在所有任务中均取得了优异的性能。数据集和代码已公开。

🔬 方法详解

问题定义：论文旨在解决医学点云理解问题，具体包括解剖结构分类、点云补全和点云分割。现有基于深度学习的点云建模方法，特别是Transformer和SSM，在通用形状分析中表现出潜力，但在医学点云上的研究较少，无法充分利用医学点云的特性进行有效建模。

核心思路：论文的核心思路是利用状态空间模型（SSM）来学习医学点云的分层特征表示。通过分层结构，可以捕捉不同尺度的信息。通过特定的扫描策略，将不规则的点云数据转换为序列数据，从而能够利用SSM的序列建模能力。

技术框架：整体框架包含以下几个主要阶段：1) 点云下采样：使用最远点采样（FPS）将输入点云下采样到多个层级，形成分层结构。2) 多尺度特征聚合：在每个层级，执行K近邻（KNN）查询，聚合不同尺度的局部结构信息。3) 点云序列化：引入坐标顺序和由内而外的扫描策略，将不规则的点云转换为序列数据，以便SSM处理。4) 特征提取：使用普通和分组Point SSM块，从短邻域序列和长点序列逐步计算点特征，捕获局部模式和长程依赖关系。

关键创新：论文的关键创新在于：1) 针对医学点云提出了基于SSM的分层特征学习框架。2) 提出了坐标顺序和由内而外的扫描策略，用于点云的序列化，使得SSM能够有效处理不规则点云数据。3) 构建了大规模医学点云数据集MedPointS，为医学点云研究提供了基准。

关键设计：论文的关键设计包括：1) 使用最远点采样进行分层下采样，保证点云的均匀覆盖。2) 使用KNN查询聚合多尺度局部信息，增强特征的鲁棒性。3) 设计了普通和分组Point SSM块，用于提取不同尺度的特征。4) 坐标顺序扫描策略按照坐标轴顺序遍历点云，由内而外扫描策略从点云中心向外遍历，两种策略结合可以有效捕捉点云的结构信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文构建了大规模医学点云数据集MedPointS，并在该数据集上进行了广泛的实验。实验结果表明，所提出的方法在解剖结构分类、点云补全和点云分割任务中均取得了优于现有方法的性能。具体性能数据在论文中给出，相较于其他基线方法，该方法在各项任务上均有显著提升。

🎯 应用场景

该研究成果可应用于医学图像分析、计算机辅助诊断、手术规划和个性化医疗等领域。通过对医学点云进行精确的解剖结构分类、补全和分割，可以帮助医生更准确地诊断疾病、制定治疗方案，并提高手术的精确性和安全性。未来，该方法有望成为医学影像分析的重要工具。

📄 摘要（原文）

Deep learning-based point cloud modeling has been widely investigated as an indispensable component of general shape analysis. Recently, transformer and state space model (SSM) have shown promising capacities in point cloud learning. However, limited research has been conducted on medical point clouds, which have great potential in disease diagnosis and treatment. This paper presents an SSM-based hierarchical feature learning framework for medical point cloud understanding. Specifically, we down-sample input into multiple levels through the farthest point sampling. At each level, we perform a series of k-nearest neighbor (KNN) queries to aggregate multi-scale structural information. To assist SSM in processing point clouds, we introduce coordinate-order and inside-out scanning strategies for efficient serialization of irregular points. Point features are calculated progressively from short neighbor sequences and long point sequences through vanilla and group Point SSM blocks, to capture both local patterns and long-range dependencies. To evaluate the proposed method, we build a large-scale medical point cloud dataset named MedPointS for anatomy classification, completion, and segmentation. Extensive experiments conducted on MedPointS demonstrate that our method achieves superior performance across all tasks. The dataset is available at https://flemme-docs.readthedocs.io/en/latest/medpoints.html. Code is merged to a public medical imaging platform: https://github.com/wlsdzyzl/flemme.