Automatic Calibration of a Multi-Camera System with Limited Overlapping Fields of View for 3D Surgical Scene Reconstruction

📄 arXiv: 2501.16221v3 📥 PDF

作者: Tim Flückiger, Jonas Hein, Valery Fischer, Philipp Fürnstahl, Lilian Calvet

分类: cs.CV

发布日期: 2025-01-27 (更新: 2025-12-15)

备注: Accepted for oral presentation at IPCAI 2025. Project page: https://tflueckiger.github.io/calib-proj/

DOI: 10.1007/s11548-025-03413-1

💡 一句话要点

提出一种基于多尺度标记投影的自动多相机标定方法，用于3D手术场景重建。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 多相机标定 3D手术场景重建 多尺度标记 自动标定 计算机视觉

📋 核心要点

  1. 传统多相机标定依赖人工操作，精度受操作员影响，且难以应对手术场景中大变焦和有限视野重叠的问题。
  2. 该论文提出一种基于天花板投影多尺度标记（MSM）的自动标定方法，利用不同尺度的2D图案，实现跨视点和变焦的精确点对应提取。
  3. 实验表明，该方法精度与人工标定相当，且在变焦差异大时更鲁棒，同时验证了现有SfM方法在3D-SSR场景中的局限性。

📝 摘要（中文）

本研究旨在为用于3D手术场景重建（3D-SSR）的多相机系统开发一种自动且精确的外部相机标定方法，无需操作员干预或专业知识。该方法专门解决了因光学变焦水平和相机位置的显著变化而导致的有限重叠视野问题。我们贡献了一种新颖、快速且全自动的标定方法，该方法基于使用天花板安装的投影仪投影多尺度标记（MSM）。MSM由以不同尺度投影的2D图案组成，确保在显著不同的视点和变焦水平上准确提取良好分布的点对应关系。使用在模拟手术室中捕获的合成和真实数据进行验证，并与传统的手动基于标记的方法以及无标记标定方法进行比较。该方法实现了与手动、操作员依赖的标定方法相当的精度，同时在变焦水平存在显著差异的条件下表现出更高的鲁棒性。此外，我们表明，即使将额外的纹理投影到手术室地板上，最先进的运动结构（SfM）流程在3D-SSR设置中也是无效的。使用天花板安装的入门级投影仪被证明是操作员依赖的传统基于标记的方法的有效替代方案，为全自动3D-SSR铺平了道路。

🔬 方法详解

问题定义：论文旨在解决多相机系统在3D手术场景重建中，由于相机位置和变焦差异大导致的有限视野重叠问题，从而难以进行精确的相机标定。现有方法，如手动标记标定，依赖操作员经验，耗时且精度受限；而传统的Structure-from-Motion (SfM) 方法在缺乏足够纹理信息的手术场景中表现不佳。

核心思路：论文的核心思路是利用天花板投影仪将多尺度标记（MSM）投影到手术场景中，这些标记包含不同尺度的2D图案，从而在不同相机视角和变焦水平下都能提取到足够数量且分布均匀的点对应关系。通过这些精确的点对应关系，可以实现多相机系统的自动标定。

技术框架：该方法主要包含以下几个阶段：1) 使用天花板投影仪将多尺度标记（MSM）投影到手术场景中；2) 各个相机捕获包含MSM的图像；3) 图像处理模块自动检测和提取MSM中的特征点；4) 利用提取到的特征点建立相机之间的对应关系；5) 使用优化算法（如Bundle Adjustment）估计相机的内外参数，完成标定。

关键创新：该方法最重要的创新在于使用多尺度标记（MSM）进行投影，解决了传统方法在视野重叠有限和变焦差异大的情况下难以提取足够点对应关系的问题。与传统的基于特定尺寸标记的方法相比，MSM能够提供更鲁棒和准确的点对应，从而提高标定精度和鲁棒性。此外，该方法完全自动化，无需人工干预。

关键设计：MSM的设计是关键。论文可能涉及MSM图案的选择（例如，棋盘格、圆形阵列等），以及不同尺度图案的比例关系。此外，特征点提取算法的选择和优化，以及Bundle Adjustment等优化算法的参数设置，都会影响最终的标定精度。损失函数的设计也至关重要，可能包括重投影误差等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在模拟手术室环境中实现了与手动标定方法相当的精度，并且在相机变焦差异显著的情况下表现出更高的鲁棒性。此外，实验还验证了传统SfM方法在3D-SSR场景中的局限性，即使投影额外的纹理也无法有效重建。该方法使用入门级投影仪即可实现，降低了成本。

🎯 应用场景

该研究成果可应用于多种需要精确3D重建的手术场景，例如计算机辅助手术、机器人辅助手术等。通过自动标定多相机系统，可以提高手术导航的精度和可靠性，减少手术风险，并为医生提供更全面的手术视野。未来，该技术有望推广到其他需要多视角3D重建的领域，如工业检测、文物保护等。

📄 摘要（原文）

The purpose of this study is to develop an automated and accurate external camera calibration method for multi-camera systems used in 3D surgical scene reconstruction (3D-SSR), eliminating the need for operator intervention or specialized expertise. The method specifically addresses the problem of limited overlapping fields of view caused by significant variations in optical zoom levels and camera locations. We contribute a novel, fast, and fully automatic calibration method based on the projection of multi-scale markers (MSMs) using a ceiling-mounted projector. MSMs consist of 2D patterns projected at varying scales, ensuring accurate extraction of well distributed point correspondences across significantly different viewpoints and zoom levels. Validation is performed using both synthetic and real data captured in a mock-up OR, with comparisons to traditional manual marker-based methods as well as markerless calibration methods. The method achieves accuracy comparable to manual, operator-dependent calibration methods while exhibiting higher robustness under conditions of significant differences in zoom levels. Additionally, we show that state-of-the-art Structure-from-Motion (SfM) pipelines are ineffective in 3D-SSR settings, even when additional texture is projected onto the OR floor. The use of a ceiling-mounted entry-level projector proves to be an effective alternative to operator-dependent, traditional marker-based methods, paving the way for fully automated 3D-SSR.