H-2DGS: Height-Field Gaussian Splatting for Sharp and Deformable Neurosurgical Surface Reconstruction
作者: Zhang Zichuan, Bart Brouwers, Rembrandt Bakker, Maud Landers, Geert-Jan Rutten, Maxime Chamberland
分类: eess.IV, cs.CV, cs.GR
发布日期: 2026-10-22
💡 一句话要点
提出H-2DGS以解决神经外科表面重建中的模糊问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 神经外科 表面重建 高斯点云 MRI 三维重建 术后对齐 深度学习
📋 核心要点
- 现有的神经外科导航方法在将MRI切片与手术显微镜下的皮层表面关联时存在模糊和几何不明确的问题。
- 本文提出的H-2DGS方法通过三阶段管道，结合深度信息和曲面导向的高斯原语，形成清晰的表面重建。
- 在五个真实案例中，H-2DGS实现了低深度不一致性和高效的交互式渲染，显著提升了重建质量和效率。
📝 摘要（中文）
神经外科导航通常以2D切片形式呈现磁共振成像（MRI），这使得将切片中的解剖结构与手术显微镜下观察到的皮层表面关联变得困难。本文提出了一种高度场2D高斯点云（H-2DGS）的方法，通过三阶段管道将暴露的皮层进行逼真的重建，并与全脑MRI和扩散轨迹结合。H-2DGS能够形成清晰的边界，克服了传统3D高斯点云方法在有限视角下的模糊性。实验结果表明，该方法在五个真实神经外科案例中表现出低多视图深度不一致性，压缩到7.97MB的表示，并实现29-42ms的交互式渲染。
🔬 方法详解
问题定义：本文旨在解决神经外科手术中，MRI切片与皮层表面之间的模糊关联问题。传统的3D高斯点云方法在有限视角下会导致不清晰的几何边界，影响手术导航的准确性。
核心思路：H-2DGS方法通过三阶段管道，首先进行稳健的3D高斯重建，然后将深度信息融合到共享的截断符号距离场（TSDF）表面，最后用曲面导向的高斯原语表示该表面，从而形成清晰的边界。
技术框架：H-2DGS的整体架构包括三个主要阶段：第一阶段是3D高斯重建，第二阶段是深度信息融合，第三阶段是曲面表示与局部几何和外观的结合。
关键创新：H-2DGS的最大创新在于其高度场表示和邻域过渡目标的引入，使得重建表面更加清晰，并能够有效处理术后对齐问题。
关键设计：该方法采用了分离的高度、颜色和不透明度基底来提供局部几何和外观，同时使用交替优化的跟踪颜色监督来保持重建的外观一致性。
🖼️ 关键图片
📊 实验亮点
在五个真实神经外科案例中，H-2DGS实现了低多视图深度不一致性，压缩到7.97MB的表示，并且交互式渲染速度达到29-42ms每帧，显著提升了重建质量和渲染效率。
🎯 应用场景
H-2DGS方法在神经外科手术导航中具有广泛的应用潜力，能够提供更清晰的解剖结构重建，帮助外科医生更好地进行手术规划和实施。未来，该技术还可以扩展到其他医学成像领域，提升多模态成像的整合效果。
📄 摘要（原文）
Neurosurgical navigation commonly presents magnetic resonance imaging (MRI) as 2D slices, making it difficult to relate the anatomy in those slices to the cortical surface observed through the surgical microscope. We seek a common 3D visualization that combines a photorealistic reconstruction of the exposed cortex during tumor surgery with whole-brain MRI context and diffusion tractography pathways. This requires the reconstructed cortex to form a clear boundary around the brain anatomy rather than a diffuse volume that obscures internal structures. Conventional 3D Gaussian Splatting (3DGS) can reproduce observed views but, under limited surgical view coverage, may distribute opacity through a thick and geometrically ambiguous band. We introduce height-field 2D Gaussian Splatting (H-2DGS), a three-stage pipeline that concentrates a robust 3DGS reconstruction, fuses its depth into a shared truncated signed distance field (TSDF) surface, and represents that surface with curved, surface-oriented Gaussian primitives. Separate height, color, and opacity bases provide local geometry and appearance, while a neighbor-transition objective coordinates overlapping patches. The explicit surface further supports postoperative alignment: MRI-derived depth deforms the reconstruction, and tracked-color supervision with alternating optimization preserves its appearance. Across five real neurosurgical cases, H-2DGS gives low multi-view depth inconsistency, a compact 7.97MB representation, and interactive rendering at 29--42ms per frame. The resulting sharp, deformable surface integrates clearly with tractography and MRI anatomy, including a postoperative resection cavity.