X-Splat: Unified Gaussian Splatting for Joint RGB and X-ray 3D Reconstruction
作者: Wangze Xu, Chu Zhou, Mae Yamaguchi, Linrui Dai, I-Chao Shen, Takashi Ijiri, Imari Sato
分类: cs.CV, cs.GR
发布日期: 2026-10-16
备注: SIGGRAPH Asia 2026 Conference Papers. 19 pages (12 main paper + 7 supplementary), 13 figures. Project page: https://zezeaaa.github.io/X-Splat/
💡 一句话要点
提出统一高斯点云以解决RGB与X射线3D重建问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 高斯点云 RGB与X射线重建 跨模态对齐 几何代理 深度一致性损失
📋 核心要点
- 现有方法为每种模态训练独立模型，导致几何冗余和对齐伪影，限制了跨模态的洞察能力。
- 提出统一的高斯原语表示，所有原语共享几何参数，改善了跨模态配准的稳定性。
- 在InsideOut数据集和自建的Flower & Insect数据集上，框架实现了更稳健的对齐和更高的RGB渲染质量。
📝 摘要（中文）
联合重建RGB与X射线提供了通过外部外观与内部结构的连接，进而更全面理解现实世界物体的可能性。然而，现有方法为每种模态训练独立模型，导致几何冗余、对齐伪影及松散耦合，限制了跨模态洞察的发现。本文提出了一种统一表示，其中所有高斯原语共享一组几何参数，只有表面近端原语额外携带外观属性。通过干净的多视图立体和X射线几何代理进行跨模态配准，改善了对齐稳定性。我们通过两种模态的监督联合优化统一表示，并辅以基于X射线几何的表面深度一致性损失以指导RGB重建。实验结果表明，该框架在跨模态对齐、RGB渲染质量及表示紧凑性方面均优于现有方法。
🔬 方法详解
问题定义：本文旨在解决RGB与X射线联合重建中的几何冗余、对齐伪影及松散耦合等问题。现有方法分别训练模态模型，导致信息利用不充分。
核心思路：提出统一的高斯原语表示，所有原语共享一组几何参数，只有表面近端原语携带外观属性，从而实现更紧凑的表示和更稳定的跨模态对齐。
技术框架：整体架构包括高斯原语的统一表示、跨模态配准模块和联合优化模块。通过多视图立体和X射线几何代理进行配准，利用两种模态的监督进行优化。
关键创新：最重要的创新在于提出了统一的高斯表示，解决了现有方法中模态间的冗余和对齐问题，使得跨模态信息的融合更加紧密。
关键设计：采用表面深度一致性损失作为辅助损失函数，确保RGB重建与X射线几何的一致性，优化过程中对高斯原语的几何参数进行联合调整。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的框架在跨模态对齐方面表现出更高的稳定性，RGB渲染质量提升显著，且在不妥协X射线重建质量的情况下，表示更加紧凑。具体而言，相较于基线方法，RGB渲染质量提高了XX%，对齐误差降低了YY%。
🎯 应用场景
该研究在医学成像、材料科学及工业检测等领域具有广泛的应用潜力。通过结合RGB与X射线数据，可以实现更全面的物体分析，提升检测精度和效率，推动相关领域的发展。
📄 摘要（原文）
Jointly reconstructing RGB and X-ray provides new insights by connecting external appearance with internal structure, enabling a more complete understanding of real-world objects than single modality. Yet existing methods train separate models per modality and suffer from redundant geometry, alignment artifacts, and loose coupling that limits cross-modal insight discovery. We propose a unified representation in which all Gaussian primitives share a single set of geometric parameters, with only surface-proximal primitives additionally carrying appearance attributes. We perform cross-modal registration through clean multi-view stereo and X-ray geometric proxies instead of aligning two sets of optimized Gaussians, improving alignment stability. We then jointly optimize the unified representation via supervision from both modalities, complemented by a surface-depth consistency loss derived from X-ray geometry to guide RGB reconstruction. Experiments on the InsideOut dataset and our Flower & Insect dataset show that our framework achieves more robust cross-modal alignment, higher RGB rendering quality without compromising X-ray reconstruction, and a more compact representation than maintaining two independent geometries.