Hardware-aware Coding Function Design for Compressive Single-Photon 3D Cameras

📄 arXiv: 2510.12123v1 📥 PDF

作者: David Parra, Felipe Gutierrez-Barragan, Trevor Seets, Andreas Velten

分类: cs.CV

发布日期: 2025-10-14

备注: IEEE TPAMI Special Issue

DOI: 10.1109/TPAMI.2025.3599073

💡 一句话要点

针对单光子3D相机硬件约束，提出硬件感知的编码函数设计方法

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 单光子相机 3D成像 编码函数设计 硬件感知 约束优化

📋 核心要点

  1. 单光子相机易受硬件限制，传统压缩直方图在实际照明约束下性能下降。
  2. 提出一种约束优化方法，联合优化照明和编码矩阵，满足硬件约束。
  3. 仿真结果表明，该方法在带宽和峰值功率约束下优于传统编码设计，尤其在峰值功率受限时。

📝 摘要（中文）

单光子相机因其能够以极高分辨率对单个光子进行时间标记，在飞行时间3D成像中越来越受欢迎。然而，它们的性能容易受到硬件限制的影响，例如系统带宽、最大激光功率、传感器数据速率以及传感器内的内存和计算资源。压缩直方图最近被引入，作为通过在线传感器压缩光子时间戳数据来应对数据速率挑战的解决方案。虽然压缩直方图在有限的传感器内内存和计算资源内工作，但在受到实际照明硬件约束时，其性能会下降。为了解决这个问题，我们提出了一种约束优化方法，用于为压缩单光子3D成像设计实用的编码函数。使用梯度下降，我们共同优化了符合硬件约束的照明和编码矩阵（即编码函数）。通过广泛的仿真，我们表明，在带宽和峰值功率约束下，我们的编码函数始终优于传统的编码设计。这种优势在受峰值功率约束的系统中尤为明显。最后，我们通过在具有非理想脉冲响应函数的真实系统上评估它，表明我们的方法可以适应任意参数化的脉冲响应。

🔬 方法详解

问题定义：论文旨在解决单光子3D相机在实际应用中，由于硬件限制（如带宽、功率、数据速率等）导致传统压缩直方图性能下降的问题。现有方法没有充分考虑这些硬件约束，导致在实际场景中无法达到理想的性能。

核心思路：论文的核心思路是通过硬件感知的约束优化，设计一种新的编码函数。该编码函数能够同时优化照明模式和编码矩阵，并显式地考虑硬件的各种约束条件。通过这种联合优化，可以找到在给定硬件条件下性能最佳的编码方案。

技术框架：该方法主要包含以下几个阶段：1）定义硬件约束条件，包括带宽限制、峰值功率限制等；2）构建一个可参数化的编码函数模型，该模型能够控制照明模式和编码矩阵；3）建立一个目标函数，该目标函数旨在最大化重建3D信息的质量，同时满足硬件约束；4）使用梯度下降等优化算法，在约束条件下优化编码函数模型的参数。

关键创新：该方法最重要的创新在于其硬件感知的优化策略。与传统的编码设计方法不同，该方法将硬件约束直接纳入优化过程中，从而能够找到在实际硬件条件下最优的编码方案。这种方法能够更好地适应不同硬件平台的特性，并提高单光子3D相机的整体性能。

关键设计：论文使用梯度下降算法来优化编码函数。目标函数的设计需要仔细考虑重建质量和硬件约束之间的平衡。例如，可以使用重建误差作为重建质量的度量，并使用惩罚项来约束照明功率和带宽。编码函数可以使用参数化的矩阵表示，例如使用一组基函数来表示照明模式和编码矩阵。此外，论文还考虑了非理想脉冲响应的影响，并提出了一种适应任意参数化脉冲响应的方法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过仿真实验验证了所提出方法的有效性。结果表明，在带宽和峰值功率约束下，该方法设计的编码函数始终优于传统的编码设计。尤其是在峰值功率受限的系统中，性能提升更为显著。此外，该方法还能够适应具有非理想脉冲响应的真实系统。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人导航、工业检测等领域。通过优化单光子3D相机的编码函数，可以提高在复杂光照条件和硬件约束下的3D成像质量，从而提升相关系统的感知能力和可靠性。未来，该方法有望推动单光子3D相机在更多实际场景中的应用。

📄 摘要（原文）

Single-photon cameras are becoming increasingly popular in time-of-flight 3D imaging because they can time-tag individual photons with extreme resolution. However, their performance is susceptible to hardware limitations, such as system bandwidth, maximum laser power, sensor data rates, and in-sensor memory and compute resources. Compressive histograms were recently introduced as a solution to the challenge of data rates through an online in-sensor compression of photon timestamp data. Although compressive histograms work within limited in-sensor memory and computational resources, they underperform when subjected to real-world illumination hardware constraints. To address this, we present a constrained optimization approach for designing practical coding functions for compressive single-photon 3D imaging. Using gradient descent, we jointly optimize an illumination and coding matrix (i.e., the coding functions) that adheres to hardware constraints. We show through extensive simulations that our coding functions consistently outperform traditional coding designs under both bandwidth and peak power constraints. This advantage is particularly pronounced in systems constrained by peak power. Finally, we show that our approach adapts to arbitrary parameterized impulse responses by evaluating it on a real-world system with a non-ideal impulse response function.