TomoTransformer: Towards a Foundation Model for CT Reconstruction
作者: AmirEhsan Khorashadizadeh, Benjamín Béjar
分类: cs.CV, cs.LG
发布日期: 2026-09-29
💡 一句话要点
提出TomoTransformer以解决CT重建中的视角变化问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: CT重建 深度学习 变换器 自注意力 稀疏视图 医学成像 零-shot泛化
📋 核心要点
- 现有的CT重建方法在面对投影数量、角度和探测器分辨率变化时，通常需要重新训练，限制了其实际应用。
- TomoTransformer通过将局部滤波投影视为独立token，并在反投影空间中进行自注意力预测，解决了视角变化带来的挑战。
- 在多个基准稀疏视图数据集上的评估显示，TomoTransformer显著优于现有多用途模型，并在真实实验数据上展现出强大的零-shot泛化能力。
📝 摘要（中文）
监督深度学习在稀疏视图的断层重建中取得了进展，但传统模型在分布变化时表现脆弱，需重新训练。为此，本文提出TomoTransformer，一种基于变换器的架构，将每个局部滤波投影视为独立的token，通过自注意力预测缺失视图。TomoTransformer在反投影空间中操作，使得视图插值在几何上合理且对探测器尺寸不变。该模型能够处理任意数量的输入投影，并在多个基准稀疏视图数据集上显著超越现有模型，展示出强大的零-shot泛化能力，适用于实际应用。
🔬 方法详解
问题定义：本文旨在解决传统CT重建模型在面对投影数量、角度和探测器分辨率变化时的脆弱性，这些模型通常需要重新训练，限制了其在实际应用中的部署。
核心思路：TomoTransformer的核心思想是将每个局部滤波投影视为独立的token，通过自注意力机制预测缺失的视图，从而实现对不同输入条件的适应性。
技术框架：该模型在反投影空间中操作，分离不同空间位置的投影，使得视图插值在几何上合理。整体架构包括输入投影的token化、自注意力机制和输出重建的生成。
关键创新：TomoTransformer的主要创新在于其在反投影空间的操作方式，使得模型对探测器尺寸和输入视角的变化具有不变性，这与传统方法的设计理念截然不同。
关键设计：模型的关键设计包括自注意力机制的实现、损失函数的选择以及网络结构的优化，使其能够在大规模数据集上进行有效训练，并实现零-shot泛化。
🖼️ 关键图片
📊 实验亮点
在多个基准稀疏视图数据集上的评估结果表明，TomoTransformer显著超越了现有的多用途模型ViewTrans，并在特定协议基线中表现出色，展示了其在处理不同输入和目标投影数量上的强大能力。
🎯 应用场景
TomoTransformer在医学成像、工业检测和材料科学等领域具有广泛的应用潜力。其能够适应不同的探测器配置和视角变化，使得在实际应用中更具灵活性和实用性，推动了CT重建技术的进步。
📄 摘要（原文）
Supervised deep learning has advanced sparse-view tomographic reconstruction. However, conventional models, which typically map filtered back-projection (FBP) images or sinograms to clean reconstructions, are brittle under distribution shifts. Because they require retraining whenever projection counts and angles, detector resolutions, or data distributions change, their deployment in real-world applications remains limited. To address this, we introduce TomoTransformer, a transformer-based architecture that treats each \textit{local} filtered projection as an individual token and predicts missing views via self-attention. Crucially, TomoTransformer operates in a \emph{back-projection space} that separates projections across spatial locations, making view interpolation geometrically well-posed and invariant to detector size. This design yields a single foundation model that can process any number of input projections, at arbitrary angular locations and detector dimensions, and query any number of target angles without retraining. Trained on a large-scale dataset spanning diverse medical CT anatomies and natural images, TomoTransformer generalizes effectively across anatomies, materials, and resolutions. Extensive evaluations on several benchmark sparse-view datasets show that TomoTransformer significantly outperforms concurrent multi-purpose models like ViewTrans and matches or exceeds strong protocol-specific baselines, while remaining fully agnostic to the number of input and target projections. Furthermore, the model demonstrates robust zero-shot generalization on real experimental nanoscale brain data collected from an X-ray synchrotron, showcasing its practical utility for real-world applications.