3D Gaussian Splatting for Annular Dark Field Scanning Transmission Electron Microscopy Tomography Reconstruction
作者: Beiyuan Zhang, Hesong Li, Ruiwen Shao, Ying Fu
分类: cs.CV
发布日期: 2026-04-07
💡 一句话要点
提出DenZa-Gaussian方法，用于解决稀疏视角下ADF-STEM层析重建伪影问题。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D高斯溅射 ADF-STEM层析成像 稀疏视角重建 缺失楔形伪影 纳米材料表征
📋 核心要点
- 传统ADF-STEM层析重建在稀疏视角下易产生伪影，结构保真度降低，限制了其应用。
- 论文提出DenZa-Gaussian方法，通过建模可学习标量场、引入散射视角归一化和傅里叶幅度损失来解决该问题。
- 实验结果表明，该方法在稀疏视角下能实现高保真重建，并有效抑制伪影。
📝 摘要（中文）
分析暗场扫描透射电子显微镜(ADF-STEM)层析成像通过整合多视角倾斜序列图像来重建纳米尺度的三维材料，从而能够精确分析其结构和成分特征。虽然整合更多倾斜视角可以改善三维重建效果，但需要更长时间的电子束照射，这会增加损伤剂量敏感材料的风险，并引入漂移和不对准，难以平衡重建保真度和样品保存。在实践中，通常需要稀疏视角采集，但传统的ADF-STEM方法在有限视角下会退化，表现出伪影和结构保真度降低。为了解决这些问题，本文将3D高斯溅射(3D GS)应用于该领域，并提出了三个关键组件。首先，我们将局部散射强度建模为可学习的标量场denza，以解决3DGS与ADF-STEM成像物理之间的不匹配。然后，我们引入系数γ来稳定倾斜角度上的散射，通过散射视角归一化确保denza的一致性。最后，我们引入包含二维傅里叶幅度项的损失函数，以抑制稀疏视角重建中的缺失楔形伪影。在45视角和15视角倾斜序列上的实验表明，DenZa-Gaussian产生高保真度的重建和二维投影，与原始倾斜图像更紧密地对齐，展示了在稀疏视角条件下的卓越鲁棒性。
🔬 方法详解
问题定义：ADF-STEM层析重建旨在从一系列不同倾斜角度的2D图像中恢复纳米材料的3D结构。然而，在实际应用中，由于电子束对样品的损伤，通常只能获取有限数量的倾斜视角图像（稀疏视角）。这导致传统的重建方法，如加权反投影（WBP），在重建结果中产生显著的伪影，尤其是在缺失楔形区域，严重影响了结构分析的准确性。现有方法难以在低剂量和高保真度之间取得平衡。
核心思路：论文的核心思路是将3D高斯溅射（3D GS）技术引入ADF-STEM层析重建，并针对ADF-STEM成像的特点进行改进。3D GS是一种基于可微分渲染的新兴技术，能够从多视角图像中高效地重建3D场景。通过将局部散射强度建模为可学习的标量场（denza），并引入散射视角归一化，可以更好地适应ADF-STEM成像物理，从而提高重建质量。此外，引入傅里叶幅度损失可以有效抑制缺失楔形伪影。
技术框架：DenZa-Gaussian方法的整体框架包括以下几个主要步骤：1) 初始化：使用3D高斯分布初始化场景的几何和外观信息。2) 渲染：根据相机参数和高斯分布参数，将3D场景渲染成2D图像。3) 损失计算：计算渲染图像与真实ADF-STEM图像之间的差异，包括图像空间损失和傅里叶空间损失。4) 参数更新：使用梯度下降算法更新高斯分布参数和denza值，优化重建结果。该过程迭代进行，直至收敛。
关键创新：该方法最重要的技术创新点在于将3D GS技术与ADF-STEM成像物理相结合，并针对稀疏视角重建问题进行了改进。具体来说，引入可学习的标量场denza来建模局部散射强度，解决了3D GS中常用的颜色建模方法与ADF-STEM成像物理不匹配的问题。此外，引入散射视角归一化和傅里叶幅度损失，有效抑制了稀疏视角重建中的伪影。与传统的WBP方法相比，该方法能够显著提高重建质量，尤其是在稀疏视角条件下。
关键设计：在关键设计方面，论文采用了以下技术细节：1) denza建模：将局部散射强度建模为可学习的标量场，并使用sigmoid函数将其限制在0到1之间。2) 散射视角归一化：引入系数γ来稳定倾斜角度上的散射，确保denza的一致性。3) 傅里叶幅度损失：计算渲染图像和真实图像在傅里叶空间的幅度差异，并将其作为损失函数的一部分，以抑制缺失楔形伪影。4) 优化器：使用Adam优化器更新高斯分布参数和denza值。5) 损失函数权重：合理设置图像空间损失和傅里叶空间损失的权重，以平衡重建质量和伪影抑制效果。
🖼️ 关键图片
📊 实验亮点
实验结果表明，DenZa-Gaussian方法在45视角和15视角倾斜序列上均能实现高保真度的重建，并有效抑制伪影。与传统方法相比，该方法重建的2D投影与原始倾斜图像更紧密地对齐，表明其具有更好的鲁棒性。定量分析表明，该方法在稀疏视角下能够显著提高重建质量，例如在15视角下，重建结果的结构相似性指标（SSIM）和峰值信噪比（PSNR）均优于传统方法。
🎯 应用场景
该研究成果可广泛应用于纳米材料的三维结构表征，例如催化剂、纳米颗粒、薄膜材料等。通过高保真度的三维重建，可以更准确地分析材料的结构和成分特征，从而为材料设计和性能优化提供重要依据。该方法在生物样品分析中也具有潜在应用价值，有助于在低剂量条件下获取高质量的三维结构信息。
📄 摘要（原文）
Analytical Dark Field Scanning Transmission Electron Microscopy (ADF-STEM) tomography reconstructs nanoscale materials in 3D by integrating multi-view tilt-series images, enabling precise analysis of their structural and compositional features. Although integrating more tilt views improves 3D reconstruction, it requires extended electron exposure that risks damaging dose-sensitive materials and introduces drift and misalignment, making it difficult to balance reconstruction fidelity with sample preservation. In practice, sparse-view acquisition is frequently required, yet conventional ADF-STEM methods degrade under limited views, exhibiting artifacts and reduced structural fidelity. To resolve these issues, in this paper, we adapt 3D GS to this domain with three key components. We first model the local scattering strength as a learnable scalar field, denza, to address the mismatch between 3DGS and ADF-STEM imaging physics. Then we introduce a coefficient $\gamma$ to stabilize scattering across tilt angles, ensuring consistent denza via scattering view normalization. Finally, We incorporate a loss function that includes a 2D Fourier amplitude term to suppress missing wedge artifacts in sparse-view reconstruction. Experiments on 45-view and 15-view tilt series show that DenZa-Gaussian produces high-fidelity reconstructions and 2D projections that align more closely with original tilts, demonstrating superior robustness under sparse-view conditions.