HyDAR-Pano3D: A Hybrid Disentangled Anatomical Recovery Framework for Panoramic-to-3D Reconstruction

📄 arXiv: 2605.20827v1 📥 PDF

作者: Yaoyao Yue, Jérôme Schmid, Xiaoshuang Li, Eduardo Delamare, Jinman Kim

分类: cs.CV

发布日期: 2026-05-20

备注: 10 pages

💡 一句话要点

HyDAR-Pano3D：用于全景X光片到3D重建的混合解耦解剖恢复框架

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 全景X光片重建 三维重建 解耦学习 解剖结构恢复 变形场 语义先验 牙科影像 CBCT

📋 核心要点

  1. 现有方法直接回归CBCT体数据，导致模型需要同时学习通用解剖结构和患者特异性形态变异，使得2D到3D逆问题变得模糊。
  2. HyDAR-Pano3D采用两阶段解耦框架，首先重建规范化的解剖结构，然后通过变形场恢复个体形态变异。
  3. 实验结果表明，HyDAR-Pano3D在PSNR、SSIM和Dice分数上显著优于基线方法，并能有效支持下游分割任务。

📝 摘要（中文）

全景X光片(PR)是常规牙科护理的基础，但它本质上只提供了复杂的三维(3D)颅面解剖结构的二维(2D)投影。现有的大多数基于学习的方法试图通过直接从PR回归原始锥束计算机断层扫描(CBCT)体数据来计算恢复这种3D信息。然而，这种直接映射要求模型同时学习常见的解剖结构和患者特定的形态变异。这种纠缠的公式使得不适定的2D到3D逆问题高度模糊，通常产生过度平滑的重建和模糊的解剖边界。为了解决这个问题，我们提出了HyDAR-Pano3D，这是一个两阶段框架，它将PR到CBCT重建重新定义为一个解耦的解剖恢复问题。在第一阶段，一个双编码器网络将放射特征与SAM衍生的语义先验相结合，以重建一个拱形归一化的规范体。在第二阶段，一个解剖恢复网络预测一个先验约束的结构化变形场，将这个规范体映射回原始空间，恢复个体形态变异。在三个大规模数据集上的实验表明，HyDAR-Pano3D显著优于基线方法(p < 0.05)，实现了25.76 dB的PSNR、85.70%的SSIM和83.83%的总体解剖Dice分数。合成的体数据成功地支持了全牙(82.4% Dice)和下牙槽神经管(72.2% Dice)的下游分割，表明我们的解耦方法保留了临床相关的结构，从而在CBCT数据不可用时能够进行稳健的解剖感知评估。

🔬 方法详解

问题定义：论文旨在解决从二维全景X光片(PR)重建三维锥束计算机断层扫描(CBCT)体数据的问题。现有方法直接回归CBCT，导致模型需要同时学习通用解剖结构和患者特异性形态变异，使得2D到3D逆问题变得模糊，重建结果过度平滑，解剖边界模糊。

核心思路：论文的核心思路是将PR到CBCT的重建问题解耦为两个阶段：首先重建一个规范化的、与患者无关的解剖结构，然后通过学习一个变形场将该规范结构映射回患者的原始空间，从而恢复个体形态变异。这种解耦的方式能够分别处理通用解剖结构和个体差异，降低了学习难度。

技术框架：HyDAR-Pano3D是一个两阶段的框架。第一阶段，双编码器网络将全景X光片的放射特征与SAM(Segment Anything Model)衍生的语义先验信息融合，重建一个拱形归一化的规范体。第二阶段，解剖恢复网络(Anatomical Restoration Network)预测一个先验约束的结构化变形场，将规范体映射回原始空间，从而恢复个体形态变异。

关键创新：论文的关键创新在于将PR到CBCT的重建问题解耦为解剖结构重建和形态变异恢复两个独立的任务。通过引入规范空间和变形场，模型可以分别学习通用解剖结构和个体差异，从而提高了重建质量。此外，利用SAM提取语义先验信息，可以更好地指导解剖结构的重建。

关键设计：第一阶段的双编码器网络采用U-Net结构，融合放射特征和语义先验信息。第二阶段的解剖恢复网络预测一个三维变形场，该变形场受到先验约束，以保证变形的平滑性和合理性。损失函数包括重建损失、变形场正则化损失和语义一致性损失。具体参数设置未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HyDAR-Pano3D在三个大规模数据集上进行了实验，结果表明其显著优于基线方法(p < 0.05)，实现了25.76 dB的PSNR、85.70%的SSIM和83.83%的总体解剖Dice分数。合成的体数据成功地支持了全牙(82.4% Dice)和下牙槽神经管(72.2% Dice)的下游分割，表明该方法能够保留临床相关的结构。

🎯 应用场景

该研究成果可应用于牙科临床诊断和治疗规划。通过从全景X光片重建三维CBCT体数据，医生可以在CBCT数据不可用时，进行更准确的解剖结构评估，辅助牙齿分割、神经管定位等任务，从而提高诊断效率和治疗效果。该技术还可以应用于远程医疗和资源匮乏地区，降低对昂贵CBCT设备的依赖。

📄 摘要（原文）

Panoramic radiograph (PR) is fundamentally used in routine dental care, but it inherently provides only a two-dimensional (2D) projection of complex three-dimensional (3D) craniofacial anatomy. Most existing learning-based methods attempt to computationally recover this 3D information by directly regressing native cone-beam computed tomography (CBCT) volumes from PR. However, this direct mapping requires the model to simultaneously learn common anatomical structures and patient-specific morphological variations. This entangled formulation makes the ill-posed 2D-to-3D inverse problem highly ambiguous, often producing over-smoothed reconstructions with blurred anatomical boundaries. To address this, we propose HyDAR-Pano3D, a two-stage framework that reformulates PR-to-CBCT reconstruction as a disentangled anatomical recovery problem. In Stage 1, a dual-encoder network integrates radiographic features with SAM-derived semantic priors to reconstruct an arch-normalized canonical volume. In Stage 2, an Anatomical Restoration Network predicts a prior-constrained structured deformation field to map this canonical volume back to the native space, restoring individual morphological variations. Experiments on three large-scale datasets show that HyDAR-Pano3D significantly outperforms baseline methods ($p < 0.05$), achieving a 25.76 dB PSNR, 85.70\% SSIM, and an 83.83\% overall anatomical Dice score. The synthesized volumes successfully support downstream segmentation of whole teeth (82.4\% Dice) and the inferior alveolar canal (72.2\% Dice), demonstrating that our disentangled approach preserves clinically relevant structures to enable robust anatomy-aware assessment when CBCT data is unavailable.