SAGS: Self-Adaptive Alias-Free Gaussian Splatting for Dynamic Surgical Endoscopic Reconstruction

📄 arXiv: 2510.27318v1 📥 PDF

作者: Wenfeng Huang, Xiangyun Liao, Yinling Qian, Hao Liu, Yongming Yang, Wenjing Jia, Qiong Wang

分类: cs.CV

发布日期: 2025-10-31

💡 一句话要点

提出SAGS，解决动态手术内窥镜重建中的伪影和混叠问题。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 高斯溅射 内窥镜重建 动态场景 形变建模

📋 核心要点

  1. 现有神经辐射场（NeRFs）方法在重建可变形内窥镜场景时，易受组织运动引起的混叠和伪影影响，导致可视化质量下降。
  2. SAGS通过引入注意力机制驱动的动态加权4D形变解码器，结合3D平滑滤波器和2D Mip滤波器，有效抑制伪影并捕捉组织运动细节。
  3. 在EndoNeRF和SCARED数据集上，SAGS在PSNR、SSIM和LPIPS等指标上均优于现有方法，并提升了可视化效果。

📝 摘要（中文）

本文提出了一种自适应无混叠高斯溅射框架SAGS，用于动态手术内窥镜重建。针对内窥镜视频重建动态组织时，组织运动导致的混叠和伪影问题，SAGS引入了注意力驱动的动态加权4D形变解码器，并利用3D平滑滤波器和2D Mip滤波器来减轻形变组织重建中的伪影，并更好地捕捉组织运动的精细细节。在EndoNeRF和SCARED两个公共基准数据集上的实验结果表明，与现有技术相比，该方法在PSNR、SSIM和LPIPS的所有指标上均实现了卓越的性能，并提供了更好的可视化质量。

🔬 方法详解

问题定义：论文旨在解决从内窥镜视频中重建动态组织时，由于组织形变运动导致的混叠和伪影问题。现有的3D高斯溅射（3DGS）方法虽然提升了渲染速度，但往往忽略了这些关键问题，导致重建质量下降。

核心思路：论文的核心思路是利用自适应的无混叠高斯溅射框架，通过引入注意力机制动态调整形变解码器的权重，并结合3D平滑滤波器和2D Mip滤波器，从而减轻伪影，并更好地捕捉组织运动的细节。这种设计旨在平衡渲染速度和重建质量，特别是在处理动态场景时。

技术框架：SAGS框架主要包含以下几个模块：1) 基于内窥镜视频的图像输入；2) 注意力驱动的动态加权4D形变解码器，用于预测高斯分布的形变；3) 3D平滑滤波器，用于减少空间上的伪影；4) 2D Mip滤波器，用于减少视角相关的混叠；5) 高斯溅射渲染模块，用于生成最终的重建图像。整个流程通过端到端的方式进行训练。

关键创新：论文最关键的创新点在于提出了自适应的无混叠高斯溅射框架，特别是注意力驱动的动态加权4D形变解码器。与传统的形变建模方法相比，该解码器能够根据场景的复杂度和运动幅度，动态调整不同形变分量的权重，从而更准确地捕捉组织的形变。同时，结合3D平滑和2D Mip滤波，有效抑制了伪影和混叠。

关键设计：注意力机制被用于动态调整4D形变解码器的权重，使得网络能够更加关注重要的形变区域。3D平滑滤波器采用高斯核，用于平滑空间上的噪声。2D Mip滤波器则通过多尺度渲染来减少视角相关的混叠。损失函数包括重建损失（例如L1或L2损失）以及正则化项，用于约束形变的平滑性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SAGS在EndoNeRF和SCARED数据集上均取得了显著的性能提升。例如，在EndoNeRF数据集上，SAGS在PSNR指标上相比现有最佳方法提升了X%，在SSIM指标上提升了Y%，在LPIPS指标上提升了Z%（具体数值未知）。同时，可视化效果也得到了明显改善，减少了伪影和混叠，更真实地呈现了动态组织的形变。

🎯 应用场景

该研究成果可应用于机器人辅助手术中，为医生提供更清晰、更准确的术中组织重建，辅助手术规划和导航。此外，该技术还可用于医学影像分析、虚拟内窥镜检查等领域，具有重要的临床应用价值和广阔的发展前景。

📄 摘要（原文）

Surgical reconstruction of dynamic tissues from endoscopic videos is a crucial technology in robot-assisted surgery. The development of Neural Radiance Fields (NeRFs) has greatly advanced deformable tissue reconstruction, achieving high-quality results from video and image sequences. However, reconstructing deformable endoscopic scenes remains challenging due to aliasing and artifacts caused by tissue movement, which can significantly degrade visualization quality. The introduction of 3D Gaussian Splatting (3DGS) has improved reconstruction efficiency by enabling a faster rendering pipeline. Nevertheless, existing 3DGS methods often prioritize rendering speed while neglecting these critical issues. To address these challenges, we propose SAGS, a self-adaptive alias-free Gaussian splatting framework. We introduce an attention-driven, dynamically weighted 4D deformation decoder, leveraging 3D smoothing filters and 2D Mip filters to mitigate artifacts in deformable tissue reconstruction and better capture the fine details of tissue movement. Experimental results on two public benchmarks, EndoNeRF and SCARED, demonstrate that our method achieves superior performance in all metrics of PSNR, SSIM, and LPIPS compared to the state of the art while also delivering better visualization quality.