Hardware-aware Coding Function Design for Compressive Single-Photon 3D Cameras

📄 arXiv: 2510.12123v1 📥 PDF

作者: David Parra, Felipe Gutierrez-Barragan, Trevor Seets, Andreas Velten

分类: cs.CV

发布日期: 2025-10-14

备注: IEEE TPAMI Special Issue

DOI: 10.1109/TPAMI.2025.3599073

💡 一句话要点

针对单光子3D相机硬件约束，提出硬件感知的编码函数设计方法

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 单光子相机 3D成像 编码函数 硬件感知 约束优化

📋 核心要点

  1. 单光子相机易受硬件限制，如带宽、功率和数据速率影响，传统压缩直方图方法在实际硬件约束下性能下降。
  2. 提出一种约束优化方法，通过梯度下降联合优化照明和编码矩阵，使其满足硬件约束，从而设计实用的编码函数。
  3. 仿真结果表明，该方法在带宽和峰值功率约束下优于传统编码设计，尤其在峰值功率受限系统中优势明显。

📝 摘要（中文）

单光子相机因其极高的时间分辨率在飞行时间3D成像中日益普及。然而，其性能易受硬件限制的影响，如系统带宽、最大激光功率、传感器数据速率以及片上内存和计算资源。压缩直方图最近被引入，作为通过在线片上压缩光子时间戳数据来应对数据速率挑战的解决方案。尽管压缩直方图在有限的片上内存和计算资源下工作良好，但在实际照明硬件约束下表现不佳。为了解决这个问题，我们提出了一种约束优化方法，用于设计实用的压缩单光子3D成像编码函数。利用梯度下降，我们联合优化了符合硬件约束的照明和编码矩阵（即编码函数）。通过大量的仿真表明，我们的编码函数在带宽和峰值功率约束下始终优于传统的编码设计。这种优势在受峰值功率约束的系统中尤为明显。最后，我们通过在具有非理想脉冲响应函数的真实系统上评估它，表明我们的方法可以适应任意参数化的脉冲响应。

🔬 方法详解

问题定义：单光子3D相机在实际应用中，其性能受到硬件资源的限制，例如系统带宽、激光器的最大功率、传感器的数据速率以及片上内存和计算资源。现有的压缩直方图方法虽然能够在一定程度上缓解数据速率的压力，但是当考虑到实际的硬件约束时，其性能会显著下降，无法充分利用硬件的潜力。

核心思路：论文的核心思路是设计一种硬件感知的编码函数，该函数能够充分考虑到硬件的各种限制，并在这些限制下进行优化，从而最大化单光子3D相机的性能。通过联合优化照明和编码矩阵，使得编码函数能够适应硬件的特性，从而在实际应用中获得更好的效果。

技术框架：该方法采用了一种约束优化框架，其主要流程包括：1) 定义硬件约束条件，例如带宽限制、功率限制等；2) 构建编码函数模型，该模型能够描述照明和编码矩阵之间的关系；3) 利用梯度下降等优化算法，在满足硬件约束的前提下，联合优化照明和编码矩阵，从而得到最优的编码函数。

关键创新：该方法最重要的创新点在于其硬件感知的设计理念。传统的编码函数设计往往忽略了硬件的限制，导致在实际应用中性能下降。而该方法通过将硬件约束纳入优化过程中，使得编码函数能够更好地适应硬件的特性，从而提高了单光子3D相机的性能。

关键设计：在具体实现上，论文采用了梯度下降算法来优化编码函数。损失函数的设计需要考虑到重建精度和硬件约束的平衡。此外，论文还针对不同的硬件约束条件，设计了不同的约束函数，以保证优化结果的有效性。针对非理想脉冲响应，该方法也具有一定的适应性，可以通过参数化脉冲响应函数进行调整。

📊 实验亮点

通过仿真实验验证，该方法在带宽和峰值功率约束下，性能始终优于传统编码设计。尤其是在峰值功率受限的系统中，优势更加明显。此外，该方法在真实系统上进行了评估，结果表明其能够适应非理想的脉冲响应函数，具有良好的鲁棒性。

🎯 应用场景

该研究成果可应用于各种需要高精度、低功耗3D成像的领域，如自动驾驶、机器人导航、工业检测、医疗成像等。通过优化编码函数，可以降低对硬件的要求，从而降低系统成本，并提高成像质量和效率。未来，该方法有望推动单光子3D相机在更多领域的应用。

📄 摘要（原文）

Single-photon cameras are becoming increasingly popular in time-of-flight 3D imaging because they can time-tag individual photons with extreme resolution. However, their performance is susceptible to hardware limitations, such as system bandwidth, maximum laser power, sensor data rates, and in-sensor memory and compute resources. Compressive histograms were recently introduced as a solution to the challenge of data rates through an online in-sensor compression of photon timestamp data. Although compressive histograms work within limited in-sensor memory and computational resources, they underperform when subjected to real-world illumination hardware constraints. To address this, we present a constrained optimization approach for designing practical coding functions for compressive single-photon 3D imaging. Using gradient descent, we jointly optimize an illumination and coding matrix (i.e., the coding functions) that adheres to hardware constraints. We show through extensive simulations that our coding functions consistently outperform traditional coding designs under both bandwidth and peak power constraints. This advantage is particularly pronounced in systems constrained by peak power. Finally, we show that our approach adapts to arbitrary parameterized impulse responses by evaluating it on a real-world system with a non-ideal impulse response function.