Reduce, Then Encode: Multiscale Volumetric Reduction for 2D Foundation Models in Brain MRI

📄 arXiv: 2609.35405v1 📥 PDF

作者: Dexuan Ding, Yuankai Qi, Bogong Wang, Luping Zhou, Amin Beheshti

分类: cs.CV

发布日期: 2026-09-28

💡 一句话要点

提出多尺度体积压缩方法以解决2D基础模型在脑MRI中的应用问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑MRI 2D基础模型 多尺度压缩 特征提取 医学影像分析 深度学习 迁移学习

📋 核心要点

  1. 现有方法通常独立处理切片，导致特征整合效率低，难以充分利用3D体积信息。
  2. 本文提出的MVR方法通过多尺度压缩将切片信息转化为互补的2D组件，优化了特征提取过程。
  3. 在ADNI、OASIS和ABIDE数据集上，MVR在性能上显著优于现有的2D到3D适配方法和简单的输入压缩基线。

📝 摘要（中文）

预训练的2D基础模型为脑结构磁共振成像（sMRI）提供了一个实用的替代方案，但在体积数据上使用时需要解决2D编码器与3D体积输入之间的差异。现有方法通常独立编码切片并随后整合其特征。本文提出了多尺度体积压缩（MVR）方法，通过将每个解剖视图从D个切片压缩为M（M << D）个互补的2D组件，然后进行基础模型编码。MVR结合了基于原始切片强度的无中心PCA基础组件和由多尺度空间描述符构建的残差细节组件。该压缩过程从训练体积中估计，无需诊断标签或基于梯度的优化，且在后续处理中保持固定。最终组件由共享的冻结2D基础模型独立处理并进行线性探测。

🔬 方法详解

问题定义：本文旨在解决现有2D基础模型在处理脑MRI体积数据时的特征整合不足问题。现有方法通常独立编码切片，导致信息丢失和整合效率低下。

核心思路：MVR方法通过将每个解剖视图从D个切片压缩为M个互补的2D组件，优化了特征提取的过程。该方法结合了无中心PCA和多尺度空间描述符，旨在保留更多的结构信息。

技术框架：MVR的整体架构包括三个主要阶段：首先，从训练体积中估计压缩组件；其次，使用共享的冻结2D基础模型独立处理这些组件；最后，将处理后的组件进行线性探测以进行分类或回归任务。

关键创新：MVR的主要创新在于其“先压缩后编码”的策略，通过多尺度压缩有效地减少了输入维度，同时保留了重要的结构信息。这一方法与传统的独立切片编码方法本质上不同，能够更好地适应3D体积数据。

关键设计：MVR中的无中心PCA组件和多尺度空间描述符的设计是关键，确保了在不依赖诊断标签或梯度优化的情况下，能够从训练数据中有效提取特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在ADNI、OASIS和ABIDE数据集上，MVR方法相较于现有的2D到3D适配方法和简单输入压缩基线，表现出显著的性能提升，具体数值未提供，但整体效果强劲，且在ADNI到AIBL的迁移中表现出良好的泛化能力。

🎯 应用场景

该研究的潜在应用领域包括医学影像分析、脑部疾病的早期诊断和监测等。通过优化2D基础模型在3D体积数据上的应用，MVR方法有望提高脑MRI分析的准确性和效率，推动相关领域的研究和临床实践。未来，该方法可能扩展到其他类型的医学成像数据处理。

📄 摘要（原文）

Pretrained 2D foundation models offer a practical alternative to dedicated 3D pretraining for brain structural magnetic resonance imaging (sMRI), but their use on volumetric data requires bridging the mismatch between a 2D encoder and a 3D volume input. Existing methods typically encode slices independently and integrate their features afterwards. We introduce Multiscale Volumetric Reduction (MVR), a reduce-then-encode approach that compresses each anatomical view from (D) slices into (M << D) complementary 2D components before foundation-model encoding. MVR combines an uncentered-PCA base component derived from the original through-plane intensities with residual detail components constructed from multiscale spatial descriptors. The reduction is estimated from the training volumes without diagnostic labels or gradient-based optimization and remains fixed thereafter. The resulting components are independently processed by a shared frozen 2D foundation model and concatenated for linear probing. Under this frozen-encoder setting, MVR achieves strong overall performance across ADNI, OASIS, and ABIDE relative to the evaluated 2D-to-3D adaptation methods and simple input-reduction baselines, while also generalizing strongly from ADNI to AIBL.