ALL-PET: A Low-resource and Low-shot PET Foundation Model in Projection Domain

📄 arXiv: 2509.09130v2 📥 PDF

作者: Bin Huang, Kang Chen, Bingxuan Li, Huafeng Liu, Qiegen Liu

分类: cs.CV

发布日期: 2025-09-11 (更新: 2025-09-16)

💡 一句话要点

ALL-PET：一种低资源、低样本的投影域PET基础模型

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: PET成像 基础模型 投影域 数据增强 潜在扩散模型 医学影像 低资源学习

📋 核心要点

  1. 现有PET成像基础模型构建面临标注数据稀缺和计算资源不足的挑战，限制了其应用。
  2. ALL-PET通过在投影域利用潜在扩散模型，结合Radon掩码增强、动态多掩码和透明医学注意力等创新技术，有效解决数据稀缺问题。
  3. 实验表明，ALL-PET仅需少量样本即可实现高质量正弦图生成，并在低剂量重建等任务中表现出色，内存占用低。

📝 摘要（中文）

构建大规模PET成像基础模型受到标注数据有限和计算资源不足的限制。为了克服数据稀缺和效率限制，我们提出了ALL-PET，一种直接在投影域操作的低资源、低样本PET基础模型。ALL-PET利用潜在扩散模型（LDM），并具有三个关键创新。首先，我们设计了一种Radon掩码增强策略（RMAS），通过将随机图像域掩码投影到正弦图空间中，生成超过200,000个结构多样的训练样本，从而以最少的数据显著提高泛化能力。这通过动态多掩码（DMM）机制进行扩展，该机制改变掩码数量和分布，从而在不增加模型复杂性的情况下增强数据多样性。其次，我们实施正/负掩码约束以嵌入严格的几何一致性，从而在保持生成质量的同时减少参数负担。第三，我们引入了透明医学注意力（TMA），这是一种无参数、几何驱动的机制，可增强原始投影数据中与病灶相关的区域。病灶聚焦的注意力图从粗分割中导出，覆盖高代谢和低代谢区域，并投影到正弦图空间中以实现物理一致的指导。该系统支持临床医生定义的ROI调整，确保与PET采集物理对齐的灵活、可解释和任务自适应的强调。实验结果表明，ALL-PET仅使用500个样本即可实现高质量的正弦图生成，其性能与在更大的数据集上训练的模型相当。ALL-PET可推广到包括低剂量重建、衰减校正、延迟帧预测和示踪剂分离在内的任务，并在低于24GB的内存使用情况下高效运行。

🔬 方法详解

问题定义：论文旨在解决PET成像领域中，由于标注数据匮乏和计算资源有限，导致难以构建大规模、高性能的基础模型的问题。现有方法通常依赖于大量标注数据进行训练，这在PET成像领域是难以实现的。此外，直接在图像域进行操作计算量大，效率较低。

核心思路：ALL-PET的核心思路是在投影域（正弦图）上构建PET基础模型，利用数据增强和几何约束来克服数据稀缺问题，并利用注意力机制来提升病灶区域的重建质量。通过在正弦图空间进行操作，可以降低计算复杂度，提高效率。

技术框架：ALL-PET基于潜在扩散模型（LDM），主要包含以下几个模块：1) Radon掩码增强模块（RMAS）：生成大量结构多样的训练样本。2) 动态多掩码模块（DMM）：进一步增强数据多样性。3) 正/负掩码约束：嵌入几何一致性，减少参数量。4) 透明医学注意力模块（TMA）：增强病灶区域的关注度。整体流程是，首先利用RMAS和DMM进行数据增强，然后利用增强后的数据训练LDM，在训练过程中施加正/负掩码约束，最后利用TMA在推理阶段增强病灶区域。

关键创新：ALL-PET的关键创新在于：1) 在投影域构建PET基础模型，降低计算复杂度。2) 提出Radon掩码增强策略（RMAS）和动态多掩码（DMM）机制，有效解决数据稀缺问题。3) 引入透明医学注意力（TMA），在无参数的情况下，增强病灶区域的重建质量。与现有方法相比，ALL-PET不需要大量标注数据，且计算效率更高。

关键设计：RMAS通过将随机图像域掩码投影到正弦图空间生成训练样本，DMM动态调整掩码数量和分布。正/负掩码约束通过限制生成结果的几何形状来减少参数量。TMA利用粗分割结果生成病灶聚焦的注意力图，并将其投影到正弦图空间，以指导重建过程。TMA是无参数的，避免了额外的训练负担。

📊 实验亮点

ALL-PET仅使用500个样本即可实现高质量的正弦图生成，其性能与在更大的数据集上训练的模型相当。在低剂量重建、衰减校正、延迟帧预测和示踪剂分离等任务中，ALL-PET均表现出良好的泛化能力。此外，ALL-PET的内存使用量低于24GB，可以在资源有限的设备上运行。

🎯 应用场景

ALL-PET具有广泛的应用前景，包括低剂量PET成像、衰减校正、延迟帧预测和示踪剂分离等。该模型可以降低PET成像的辐射剂量，提高成像质量，并加速PET图像的重建过程。此外，ALL-PET还可以用于开发新的PET示踪剂和诊断方法，具有重要的临床价值。

📄 摘要（原文）

Building large-scale foundation model for PET imaging is hindered by limited access to labeled data and insufficient computational resources. To overcome data scarcity and efficiency limitations, we propose ALL-PET, a low-resource, low-shot PET foundation model operating directly in projection domain. ALL-PET leverages a latent diffusion model (LDM) with three key innovations. First, we design a Radon mask augmentation strategy (RMAS) that generates over 200,000 structurally diverse training samples by projecting randomized image-domain masks into sinogram space, significantly improving generalization with minimal data. This is extended by a dynamic multi-mask (DMM) mechanism that varies mask quantity and distribution, enhancing data diversity without added model complexity. Second, we implement positive/negative mask constraints to embed strict geometric consistency, reducing parameter burden while preserving generation quality. Third, we introduce transparent medical attention (TMA), a parameter-free, geometry-driven mechanism that enhances lesion-related regions in raw projection data. Lesion-focused attention maps are derived from coarse segmentation, covering both hypermetabolic and hypometabolic areas, and projected into sinogram space for physically consistent guidance. The system supports clinician-defined ROI adjustments, ensuring flexible, interpretable, and task-adaptive emphasis aligned with PET acquisition physics. Experimental results show that ALL-PET achieves high-quality sinogram generation using only 500 samples, with performance comparable to models trained on larger datasets. ALL-PET generalizes across tasks including low-dose reconstruction, attenuation correction, delayed-frame prediction, and tracer separation, operating efficiently with memory use under 24GB.