SPC to 3D: Novel View Synthesis from Binary SPC via I2I translation

📄 arXiv: 2506.06890v1 📥 PDF

作者: Sumit Sharma, Gopi Raju Matta, Kaushik Mitra

分类: eess.IV, cs.CV, eess.SP

发布日期: 2025-06-07

备注: Accepted for publication at ICIP 2025

💡 一句话要点

提出基于I2I翻译的两阶段框架，从二值SPC图像合成高质量新视角图像

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)

关键词: 单光子相机 新视角合成 图像到图像翻译 神经辐射场 高斯溅射 三维重建 低光成像

📋 核心要点

  1. 传统方法难以从二值单光子相机(SPC)图像中进行3D重建和新视角合成，因为SPC图像损失了纹理和颜色等关键信息。
  2. 该论文提出一个两阶段框架，首先使用图像到图像翻译模型将二值SPC图像转换为RGB图像，然后使用NeRF或3DGS进行新视角合成。
  3. 实验结果表明，该方法在感知质量和几何一致性方面优于其他基线方法，验证了该框架的有效性。

📝 摘要（中文）

单光子雪崩二极管(SPADs)是一种先进的成像技术，能够以极高的定时精度检测单个光子。基于这种灵敏度，单光子相机(SPCs)能够在低光和高光照条件下以极高的速度捕获图像。从SPC数据中实现3D重建和辐射场恢复具有重要意义。然而，SPC图像的二值性质导致严重的信息丢失，尤其是在纹理和颜色方面，使得传统的3D合成技术失效。为了解决这个挑战，我们提出了一个模块化的两阶段框架，将二值SPC图像转换为高质量的彩色新视角图像。第一阶段使用生成模型（如Pix2PixHD）执行图像到图像(I2I)的转换，将二值SPC输入转换为合理的RGB表示。第二阶段采用3D场景重建技术，如神经辐射场(NeRF)或高斯溅射(3DGS)来生成新视角。我们通过广泛的定性和定量实验验证了我们的两阶段管道(Pix2PixHD + Nerf/3DGS)，证明了相对于替代基线，在感知质量和几何一致性方面有显著的改进。

🔬 方法详解

问题定义：论文旨在解决从二值单光子相机（SPC）图像中进行高质量新视角合成的问题。现有的3D重建和新视角合成技术在处理SPC图像时面临挑战，因为SPC图像是二值的，缺乏纹理和颜色信息，导致传统方法无法有效提取几何结构和外观信息。

核心思路：论文的核心思路是将问题分解为两个阶段：首先，使用图像到图像（I2I）翻译模型将二值SPC图像转换为具有纹理和颜色信息的RGB图像；然后，利用现有的3D场景重建技术（如NeRF或3DGS）从生成的RGB图像中合成新视角。这种分解允许利用生成模型的强大能力来弥补SPC图像的信息缺失，并利用成熟的3D重建技术来生成高质量的新视角。

技术框架：整体框架包含两个主要阶段：1) I2I翻译阶段：使用生成模型（如Pix2PixHD）将二值SPC图像作为输入，生成对应的RGB图像。该阶段的目标是尽可能恢复图像的纹理和颜色信息。2) 3D重建与新视角合成阶段：将生成的RGB图像作为输入，使用3D场景重建技术（如NeRF或3DGS）构建场景的3D表示，并从中渲染出新视角图像。

关键创新：该方法的主要创新在于将I2I翻译与3D重建相结合，形成一个端到端的框架，用于从二值SPC图像中合成新视角。与直接使用3D重建技术处理二值图像相比，该方法通过I2I翻译有效地弥补了信息缺失，从而提高了新视角合成的质量。

关键设计：在I2I翻译阶段，论文采用了Pix2PixHD模型，这是一种强大的生成模型，能够生成高分辨率的图像。在3D重建阶段，论文使用了NeRF和3DGS两种技术，它们分别代表了基于神经辐射场的隐式表示和基于高斯溅射的显式表示。具体参数设置和损失函数细节取决于所使用的I2I翻译模型和3D重建技术，但通常包括对抗损失、像素级损失和感知损失等，以保证生成图像的真实性和重建场景的准确性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

该论文通过实验验证了所提出的两阶段框架的有效性。实验结果表明，与直接使用3D重建技术处理二值SPC图像相比，该方法在感知质量和几何一致性方面有显著的提升。具体而言，使用Pix2PixHD + NeRF/3DGS的组合能够生成更逼真、更准确的新视角图像，从而验证了I2I翻译在弥补SPC图像信息缺失方面的作用。

🎯 应用场景

该研究成果可应用于低光成像、高速成像、医学成像等领域。例如，在光照条件极差的环境下，可以使用SPC获取图像，然后通过该方法重建场景并合成新视角，从而实现更好的视觉感知和三维理解。此外，该技术还可用于自动驾驶、机器人导航等领域，提高系统在复杂环境下的适应能力。

📄 摘要（原文）

Single Photon Avalanche Diodes (SPADs) represent a cutting-edge imaging technology, capable of detecting individual photons with remarkable timing precision. Building on this sensitivity, Single Photon Cameras (SPCs) enable image capture at exceptionally high speeds under both low and high illumination. Enabling 3D reconstruction and radiance field recovery from such SPC data holds significant promise. However, the binary nature of SPC images leads to severe information loss, particularly in texture and color, making traditional 3D synthesis techniques ineffective. To address this challenge, we propose a modular two-stage framework that converts binary SPC images into high-quality colorized novel views. The first stage performs image-to-image (I2I) translation using generative models such as Pix2PixHD, converting binary SPC inputs into plausible RGB representations. The second stage employs 3D scene reconstruction techniques like Neural Radiance Fields (NeRF) or Gaussian Splatting (3DGS) to generate novel views. We validate our two-stage pipeline (Pix2PixHD + Nerf/3DGS) through extensive qualitative and quantitative experiments, demonstrating significant improvements in perceptual quality and geometric consistency over the alternative baseline.