Colon3R: Cross-Domain 3D Reconstruction from Monocular Colonoscopic Video
作者: Zhihao Xing, Yingyu Wang, Liang Zhao, Shoudong Huang
分类: cs.CV, cs.RO
发布日期: 2026-09-21
💡 一句话要点
提出Colon3R以解决单目结肠镜视频的3D重建问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 3D重建 结肠镜 跨领域学习 半监督学习 医学影像 机器人手术 几何适应
📋 核心要点
- 现有的多视图3D重建方法在结肠镜检查中面临纹理弱、镜面反射和非刚性组织运动等挑战，导致重建效果不佳。
- Colon3R框架通过跨领域半监督学习，利用标注的幻影和模拟数据来指导未标注的体内结肠镜视频重建，避免了对目标领域几何标注的依赖。
- 实验结果显示，Colon3R在深度、点图和相机位姿估计上均优于现有方法，且在真实体内结肠镜重建中表现出更完整和几何一致的结果。
📝 摘要（中文）
单目结肠镜3D重建对外科机器人结肠镜手术至关重要，但由于纹理弱、镜面反射、视角重叠有限和非刚性组织运动等因素，仍然面临挑战。传统的多视图3D重建方法依赖于稳定的对应关系和近似刚性，这在结肠镜检查中常常被破坏。现有的内窥镜方法通常依赖于特定领域的监督，而可用于临床结肠镜的标注数据不足。我们提出了Colon3R，一个基于预训练VGGT的跨领域半监督框架，能够在不需要目标领域几何标注的情况下，将标注的幻影和模拟数据中的相机、深度和点图几何信息转移到未标注的体内结肠镜视频中。与仅从源数据微调不同，Colon3R通过教师导出的跨视图监督直接利用未标注的体内视频。我们提出的分层准刚性可靠性在序列、定向对和像素级别选择可靠的监督，而源保持适应则在目标领域适应过程中保留学习到的耦合几何。大量实验表明，我们的方法在深度、点图和相机位姿估计上优于现有最先进的方法。
🔬 方法详解
问题定义：本论文旨在解决单目结肠镜视频的3D重建问题，现有方法在处理弱纹理和非刚性组织时表现不佳，且缺乏足够的标注数据进行有效训练。
核心思路：Colon3R框架通过跨领域半监督学习，利用已标注的幻影和模拟数据中的几何信息，指导未标注的体内结肠镜视频重建，避免了对目标领域几何标注的需求。
技术框架：该框架包括三个主要模块：1) 预训练的VGGT模型用于初始化；2) 跨视图监督机制用于从未标注视频中提取信息；3) 分层准刚性可靠性选择机制用于在不同层次上选择可靠的监督信号。
关键创新：Colon3R的创新在于其跨领域半监督学习策略，能够有效利用未标注的体内数据进行训练，显著提高了重建的准确性和一致性。
关键设计：在设计中，采用了分层准刚性可靠性选择机制，确保在序列、定向对和像素级别上选择最可靠的监督信号，同时保持源领域学习到的几何信息，以增强目标领域的适应性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Colon3R在深度、点图和相机位姿估计上均优于现有最先进的方法，具体性能提升幅度达到XX%（具体数据未知）。在真实体内结肠镜重建中，Colon3R展现出更完整和几何一致的重建效果，显著改善了临床应用中的表现。
🎯 应用场景
该研究的潜在应用领域包括外科机器人结肠镜手术、医学影像分析和虚拟现实医学培训等。通过提高结肠镜视频的3D重建质量，能够为医生提供更准确的手术指导，提升手术安全性和效果。未来，该方法有望推广至其他内窥镜技术和医学成像领域。
📄 摘要（原文）
Monocular colonoscopic 3D reconstruction is important for surgical robotic colonoscopy, but remains challenging due to weak texture, specular reflections, limited view overlap, and non-rigid tissue motion. Conventional multi-view 3D reconstruction methods rely on stable correspondences and approximate rigidity, which are often violated in colonoscopy. Existing endoscopic methods often rely on domain-specific supervision, whereas there are not enough in-vivo labeled data available to adapt geometry foundation models to clinical colonoscopy. We present Colon3R, a cross-domain semi-supervised framework built on pretrained VGGT that transfers coupled camera, depth, and pointmap geometry from labeled phantom and simulated data to unlabeled in-vivo colonoscopy without requiring target-domain geometric annotations. Unlike source-only fine-tuning, which learns only from phantom and simulated data, Colon3R directly exploits unlabeled in-vivo video through teacher-derived cross-view supervision. Our proposed hierarchical quasi-rigid reliability selects reliable supervision at the sequence, directed-pair, and pixel levels, while source-preserving adaptation retains the learned coupled geometry during target-domain adaptation. Extensive experiments demonstrate that our method achieves superior overall performance over state-of-the-art approaches in depth, pointmap, and camera pose estimation. Qualitative comparisons on real in-vivo colonoscopy further show substantially more complete and geometrically consistent reconstructions than competing methods under clinical domain shift. The code will be public available after the paper is accepted.