OpticFusion: Multi-Modal Neural Implicit 3D Reconstruction of Microstructures by Fusing White Light Interferometry and Optical Microscopy

📄 arXiv: 2501.09259v1 📥 PDF

作者: Shuo Chen, Yijin Li, Guofeng Zhang

分类: cs.CV, physics.app-ph, physics.ins-det, physics.optics

发布日期: 2025-01-16

备注: 3DV 2025

🔗 代码/项目: GITHUB

💡 一句话要点

OpticFusion：融合白光干涉与光学显微的多模态神经隐式微观结构3D重建

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 多模态融合 三维重建 神经隐式表示 白光干涉 光学显微镜 微观结构 颜色分解

📋 核心要点

  1. 传统白光干涉技术缺乏捕捉微观结构自然颜色的能力，限制了其在需要颜色信息的微观研究中的应用。
  2. OpticFusion通过融合白光干涉和光学显微图像，利用神经隐式表示和颜色分解技术，实现带自然色彩纹理的微观结构三维重建。
  3. 实验结果表明，OpticFusion能够在微观尺度样品上实现细节丰富且具有自然色彩纹理的三维重建，为相关研究提供有效工具。

📝 摘要（中文）

白光干涉技术(WLI)是一种用于测量微观结构三维形貌的精密光学工具。然而，传统WLI无法捕捉样品表面的自然颜色，这对于许多需要三维几何和颜色信息的微观尺度研究应用至关重要。以往的方法试图通过修改WLI硬件和分析软件来克服这一限制，但这些解决方案通常成本高昂。本文首次从计算机视觉多模态重建的角度解决了这一挑战。我们提出了一种新方法OpticFusion，它使用额外的数字光学显微镜(OM)，通过融合多视角的WLI和OM图像来实现具有自然色彩纹理的三维重建。我们的方法采用两步数据关联过程来获得WLI和OM数据的位姿。通过利用神经隐式表示，我们融合多模态数据并应用颜色分解技术来提取样品的自然颜色。在我们的各种微观尺度样品的多模态数据集上进行测试，OpticFusion实现了具有色彩纹理的详细三维重建。我们的方法为众多微观尺度研究领域的实际应用提供了一种有效的工具。源代码和我们的真实世界数据集可在https://github.com/zju3dv/OpticFusion获取。

🔬 方法详解

问题定义：论文旨在解决传统白光干涉技术(WLI)无法同时获取微观结构的三维形貌和自然颜色的问题。现有方法通常需要昂贵的硬件改造或复杂的软件分析，且效果有限。因此，如何经济高效地实现微观结构的三维彩色重建是一个挑战。

核心思路：论文的核心思路是利用多模态数据融合，即结合WLI提供的精确三维形貌信息和光学显微镜(OM)提供的自然颜色信息，通过神经隐式表示学习一个同时包含几何和颜色信息的连续三维模型。这样既能保留WLI的精度，又能获得OM的色彩信息。

技术框架：OpticFusion的整体框架包含以下几个主要阶段：1) 数据采集：使用WLI和OM分别采集微观结构的图像数据。2) 数据关联：通过两步法建立WLI和OM数据之间的对应关系，估计它们的相对位姿。3) 多模态融合：利用神经隐式表示(Neural Implicit Representation)将WLI和OM数据融合到一个统一的三维模型中。4) 颜色分解：应用颜色分解技术从融合后的模型中提取样品的自然颜色。

关键创新：OpticFusion的关键创新在于：1) 首次将多模态融合的思想应用于微观结构的三维彩色重建。2) 提出了一种两步数据关联方法，能够有效地估计WLI和OM数据的相对位姿。3) 利用神经隐式表示实现了多模态数据的无缝融合，并结合颜色分解技术提取自然颜色。

关键设计：在数据关联阶段，采用了两步法：首先利用特征匹配进行粗略的位姿估计，然后使用迭代最近点(ICP)算法进行精细的位姿优化。在神经隐式表示方面，使用了SIREN (Sinusoidal Representation Networks) 作为基础网络，以更好地表示高频几何细节。损失函数包括WLI的SDF (Signed Distance Function)损失和OM的光度损失，以及颜色分解的正则化项。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

OpticFusion在自建的多模态微观结构数据集上进行了评估，实验结果表明，该方法能够有效地融合WLI和OM数据，实现具有自然色彩纹理的详细三维重建。与仅使用WLI或OM的方法相比，OpticFusion能够提供更完整、更准确的微观结构信息。项目开源了代码和数据集，方便其他研究者复现和改进。

🎯 应用场景

OpticFusion在材料科学、生物医学工程、微电子等领域具有广泛的应用前景。例如，可以用于分析微纳器件的结构和颜色特征，研究细胞的三维形态和染色情况，以及评估材料表面的缺陷和腐蚀程度。该方法能够提供更全面、更直观的微观结构信息，为相关研究提供有力支持，并促进相关领域的技术进步。

📄 摘要（原文）

White Light Interferometry (WLI) is a precise optical tool for measuring the 3D topography of microstructures. However, conventional WLI cannot capture the natural color of a sample's surface, which is essential for many microscale research applications that require both 3D geometry and color information. Previous methods have attempted to overcome this limitation by modifying WLI hardware and analysis software, but these solutions are often costly. In this work, we address this challenge from a computer vision multi-modal reconstruction perspective for the first time. We introduce OpticFusion, a novel approach that uses an additional digital optical microscope (OM) to achieve 3D reconstruction with natural color textures using multi-view WLI and OM images. Our method employs a two-step data association process to obtain the poses of WLI and OM data. By leveraging the neural implicit representation, we fuse multi-modal data and apply color decomposition technology to extract the sample's natural color. Tested on our multi-modal dataset of various microscale samples, OpticFusion achieves detailed 3D reconstructions with color textures. Our method provides an effective tool for practical applications across numerous microscale research fields. The source code and our real-world dataset are available at https://github.com/zju3dv/OpticFusion.