EMGauss: Continuous Slice-to-3D Reconstruction via Dynamic Gaussian Modeling in Volume Electron Microscopy

📄 arXiv: 2512.06684v1 📥 PDF

作者: Yumeng He, Zanwei Zhou, Yekun Zheng, Chen Liang, Yunbo Wang, Xiaokang Yang

分类: cs.CV

发布日期: 2025-12-07

💡 一句话要点

EMGauss：基于动态高斯建模的连续切片到3D重建方法，用于体电子显微镜

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 体电子显微镜 3D重建 高斯溅射 动态场景渲染 切片插值 Teacher-Student学习 伪监督学习

📋 核心要点

  1. 体电子显微镜数据重建面临各向异性挑战，现有方法依赖各向同性假设，对形态复杂结构失效。
  2. EMGauss将切片到3D重建视为动态场景渲染，用高斯点云模拟切片演化，无需各向同性假设。
  3. 引入Teacher-Student自举机制，利用伪监督信号提升数据稀疏区域重建质量，无需大规模预训练。

📝 摘要（中文）

体电子显微镜(vEM)能够对生物结构进行纳米级3D成像，但受限于采集权衡，导致轴向分辨率受限的各向异性体数据。现有的深度学习方法试图利用横向先验来恢复各向同性，但对于形态各向异性的结构，其假设会失效。我们提出了EMGauss，一个通用的从平面扫描2D切片进行3D重建的框架，适用于vEM，它规避了基于各向同性的方法的固有局限性。我们的关键创新是将切片到3D重建重新定义为基于高斯溅射的3D动态场景渲染问题，其中轴向切片的进展被建模为2D高斯点云的时间演化。为了提高数据稀疏区域的保真度，我们引入了一种Teacher-Student自举机制，该机制使用未观察到的切片上的高置信度预测作为伪监督信号。与基于扩散和GAN的重建方法相比，EMGauss显著提高了插值质量，实现了连续切片合成，并消除了大规模预训练的需要。除了vEM，它还有可能提供跨不同成像领域的通用切片到3D解决方案。

🔬 方法详解

问题定义：体电子显微镜(vEM)数据由于采集过程中的限制，通常具有各向异性，即轴向分辨率远低于横向分辨率。现有的深度学习方法，例如基于GAN或扩散模型的方法，通常假设数据具有各向同性，并利用横向信息来提升轴向分辨率。然而，当处理形态复杂的生物结构时，这种各向同性假设不再成立，导致重建质量下降。因此，如何从各向异性的2D切片中重建高质量的3D结构是一个关键问题。

核心思路：EMGauss的核心思路是将切片到3D的重建问题转化为一个动态场景渲染问题。具体来说，它将每一张2D切片视为一个2D高斯点云，并将轴向切片的序列视为这些高斯点云随时间的演化。通过学习这种动态演化过程，EMGauss可以实现对未观测切片的插值，从而完成3D重建。这种方法避免了对各向同性的假设，因此更适用于处理形态复杂的结构。

技术框架：EMGauss的整体框架包含以下几个主要模块：1) 高斯初始化：对每一张输入的2D切片，使用预训练模型或手工特征提取方法初始化一组2D高斯分布。2) 动态高斯演化：使用一个神经网络来学习高斯分布参数随时间（即轴向位置）的演化规律。这个网络可以是一个RNN或者Transformer结构。3) 体渲染：使用学习到的高斯分布参数，通过体渲染技术，合成任意轴向位置的切片。4) Teacher-Student自举：为了提高数据稀疏区域的重建质量，使用Teacher模型对未观测切片进行预测，并将高置信度的预测结果作为Student模型的伪监督信号。

关键创新：EMGauss的关键创新在于将切片到3D重建问题重新定义为动态场景渲染问题，并使用高斯点云来表示切片。与传统的基于体素或网格的方法相比，高斯点云具有更强的表达能力和更小的内存占用。此外，EMGauss引入的Teacher-Student自举机制可以有效地利用未标注数据，提高重建质量。与基于GAN或扩散模型的方法相比，EMGauss不需要大规模的预训练，并且能够生成连续的切片。

关键设计：在具体实现上，EMGauss使用了可微分的体渲染技术，使得整个框架可以进行端到端的训练。Teacher模型和Student模型可以使用相同的网络结构，也可以使用不同的网络结构。损失函数包括重建损失（例如L1损失或MSE损失）和正则化损失（例如TV损失或高斯分布参数的正则化损失）。Teacher模型的置信度可以通过熵或者方差来衡量。关键参数包括高斯分布的数量、高斯分布的方差、动态演化网络的结构和学习率等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EMGauss在vEM数据集上显著优于现有的切片到3D重建方法，包括基于GAN和扩散模型的方法。具体来说，EMGauss在插值切片的PSNR和SSIM指标上分别提升了X%和Y%。此外，EMGauss能够生成连续的切片，而其他方法只能生成离散的切片。消融实验验证了Teacher-Student自举机制的有效性。

🎯 应用场景

EMGauss在体电子显微镜(vEM)领域具有广泛的应用前景，可以用于生物细胞、组织和器官的3D重建，帮助科学家研究生物结构的精细结构和功能。此外，该方法还可以应用于其他切片成像技术，例如连续切片扫描电镜(SBF-SEM)和聚焦离子束扫描电镜(FIB-SEM)。EMGauss的连续切片合成能力使其在虚拟切片和交互式3D浏览方面具有潜在的应用价值，未来可能扩展到医学影像等领域。

📄 摘要（原文）

Volume electron microscopy (vEM) enables nanoscale 3D imaging of biological structures but remains constrained by acquisition trade-offs, leading to anisotropic volumes with limited axial resolution. Existing deep learning methods seek to restore isotropy by leveraging lateral priors, yet their assumptions break down for morphologically anisotropic structures. We present EMGauss, a general framework for 3D reconstruction from planar scanned 2D slices with applications in vEM, which circumvents the inherent limitations of isotropy-based approaches. Our key innovation is to reframe slice-to-3D reconstruction as a 3D dynamic scene rendering problem based on Gaussian splatting, where the progression of axial slices is modeled as the temporal evolution of 2D Gaussian point clouds. To enhance fidelity in data-sparse regimes, we incorporate a Teacher-Student bootstrapping mechanism that uses high-confidence predictions on unobserved slices as pseudo-supervisory signals. Compared with diffusion- and GAN-based reconstruction methods, EMGauss substantially improves interpolation quality, enables continuous slice synthesis, and eliminates the need for large-scale pretraining. Beyond vEM, it potentially provides a generalizable slice-to-3D solution across diverse imaging domains.