Structure-Guided Masked Autoencoders for Ultra-High Resolution Scientific Image Understanding

📄 arXiv: 2609.30682v1 📥 PDF

作者: Enzhi Zhang, Du Wu, Rui Zhong, Cong Ma, Isaac Lyngaas, Amir Koushyar Ziabari, Xiao Wang, Peng Chen, Tao Luo, Toshio Endo, Fumiyoshi Shoji, Kento Sato, Kentaro Uesugi, Takayuki Nonoyama, Ryuji Kiyama, Masahiro Yoshida, Masaru Tezuka, Tetsuya Ishikawa, Satoshi Matsuoka, Masaharu Munetomo, Mohamed Wahib

分类: cs.CV

发布日期: 2026-09-25

备注: Accepted to NeurIPS 2026. 22 pages, 10 figures, 6 tables

💡 一句话要点

提出结构引导的掩码自编码器以解决超高分辨率科学图像理解问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 掩码自编码器 超高分辨率图像 结构引导 自监督学习 视觉变换器 生物医学图像 信号处理

📋 核心要点

  1. 现有的掩码自编码器在处理超高分辨率科学图像时，随机掩码与数据结构不匹配，导致重建效果不佳。
  2. 本文提出SGMA框架，通过内容自适应四叉树标记器和结构条件掩码过程，优化超高分辨率图像的重建过程。
  3. SGMA在多个数据集上表现优异，如在8K x 8K x 28K的SpringXCT数据集上，Dice系数达到95.68%，比MAE基线提升13.00点。

📝 摘要（中文）

自监督预训练与视觉变换器（Vision Transformers）结合的掩码自编码器（MAE）在处理千兆像素科学图像时面临挑战。随机掩码与科学数据的结构化多尺度形态不匹配，而均匀标记化导致的序列过长使得$O(N^2)$注意力计算不切实际。为此，本文提出了SGMA，一个针对超高分辨率科学图像的结构引导掩码自编码框架。SGMA结合了内容自适应的四叉树标记器和结构条件掩码过程，以引导重建至空间信息丰富的区域。通过引入阻尼累积（Damped Accumulation, DA），该方法在不同尺度上稳定信号响应，最终在电子显微镜、全切片光学显微镜和X射线CT数据集上，SGMA的表现均优于MAE基线。

🔬 方法详解

问题定义：本文旨在解决超高分辨率科学图像理解中的掩码自编码器（MAE）应用困难，现有方法在处理结构化数据时表现不佳，且计算复杂度高。

核心思路：SGMA框架的核心在于结合内容自适应的四叉树标记器和结构条件掩码过程，旨在有效压缩图像并引导重建至重要区域，从而提升重建质量。

技术框架：SGMA的整体架构包括两个主要模块：一是四叉树标记器，将千兆像素图像压缩为固定长度序列；二是结构条件掩码过程，通过引导重建至空间信息丰富的区域，提升重建效果。

关键创新：SGMA的创新点在于引入了阻尼累积（DA）机制，能够在不同尺度上稳定信号响应，并将其整合到结构画布中，以指导掩码过程。这一设计显著改善了重建的细节保留能力。

关键设计：SGMA在参数设置上采用了适应性标记化策略，损失函数设计上兼顾了重建精度与计算效率，网络结构则与标准ViT编码器和MAE风格重建兼容，确保了良好的性能表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SGMA在多个数据集上均表现出色，特别是在8K x 8K x 28K的SpringXCT数据集上，Dice系数达到95.68%，比MAE基线提升13.00点；在32K^2 WSI PAIP数据集上，Dice系数为83.21%，提升幅度达到16.84点，同时实现了高达24.8倍的推理速度提升。

🎯 应用场景

该研究的潜在应用领域包括生物医学图像分析、材料科学以及任何需要处理超高分辨率图像的科学研究。通过提升图像理解的准确性，SGMA能够为科学研究提供更为精确的数据支持，推动相关领域的进步与发展。

📄 摘要（原文）

Self-supervised pre-training with Vision Transformers, including Masked Autoencoders (MAE), is difficult to apply to gigapixel scientific images. Random masking is poorly matched to the structured, multi-scale morphology of scientific data, while uniform tokenization produces prohibitively long sequences that make $O(N^2)$ attention impractical. We propose SGMA, a structure-guided masked autoencoding framework for ultra-high-resolution scientific images. SGMA couples two components: a content-adaptive quadtree tokenizer that compresses gigapixel images into a fixed-length sequence, and a structure-conditioned masking process that biases reconstruction toward spatially informative regions. To stabilize this process across scales, we introduce Damped Accumulation (DA), which aggregates signal-dependent responses across the tree into a structure canvas used to guide masking. The resulting pre-training task preserves fine microstructure while remaining compatible with standard ViT encoders and MAE-style reconstruction. Across electron microscopy, whole-slide optical microscopy, and X-ray CT datasets, SGMA consistently outperforms MAE baselines. It achieves 95.68% Dice on the 8K x 8K x 28K SpringXCT dataset, improving over the same-architecture MAE baseline by +13.00 points, and 83.21% Dice on the 32K^2 WSI PAIP dataset, improving by +16.84 points, while providing up to a 24.8x inference speedup.