Learnable Quantum Efficiency Filters for Urban Hyperspectral Segmentation
作者: Imad Ali Shah, Jiarong Li, Ethan Delaney, Enda Ward, Martin Glavin, Edward Jones, Brian Deegan
分类: cs.CV
发布日期: 2026-03-27
💡 一句话要点
提出可学习量子效率滤波器(LQE)用于城市高光谱图像分割，提升性能与可解释性。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱五：交互与反应 (Interaction & Reaction)
关键词: 高光谱图像分割 可学习量子效率 降维 物理约束 城市环境感知
📋 核心要点
- 高光谱数据维度高，直接用于城市环境语义分割计算成本高昂，且易过拟合。
- 提出可学习量子效率滤波器(LQE)，通过模拟传感器量子效率曲线，在降维的同时保留判别信息。
- 实验表明，LQE在多个数据集和语义分割模型上均优于传统和可学习的降维方法，并具有参数效率。
📝 摘要（中文）
高光谱传感为城市驾驶场景理解提供了丰富的光谱信息，但其高维度对解释和高效学习提出了挑战。本文提出了一种受物理启发的、可解释的降维(DR)方法——可学习量子效率(LQE)。LQE参数化平滑的高阶光谱响应函数，模拟合理的传感器量子效率曲线。与传统方法或无约束的可学习层不同，LQE强制执行物理动机的约束，包括单个主导峰值、平滑响应和有界带宽。这种公式产生了一种紧凑的光谱表示，在语义分割模型(SSM)中保持可区分的信息，同时保持完全可微和端到端可训练。在三个公开的多类高光谱城市驾驶数据集上进行了系统评估，将LQE与六种传统和七种可学习的基线DR方法在六个SSM上进行了比较。在所有SSM和配置中，LQE实现了最高的平均mIoU，在HyKo、HSI-Drive和Hyperspectral City上分别比传统方法提高了2.45%、0.45%和1.04%，比可学习方法提高了1.18%、1.56%和0.81%。LQE保持了强大的参数效率（12-36个参数，而竞争的可学习方法为51-22K）和有竞争力的推理延迟。消融研究表明，低阶配置是最佳的，而学习到的光谱滤波器收敛到数据集固有的波长模式。这些结果表明，物理信息的光谱学习可以提高性能和可解释性，为高光谱感知和汽车视觉系统的数据驱动多光谱传感器设计之间提供了一个有原则的桥梁。
🔬 方法详解
问题定义：高光谱图像具有很高的维度，直接用于城市环境的语义分割会面临计算量大、容易过拟合等问题。现有的降维方法，如PCA等传统方法，可能无法充分利用高光谱数据的判别信息；而直接学习的降维方法，如使用神经网络层，又缺乏物理约束，容易学习到不合理的光谱响应。
核心思路：本文的核心思路是设计一种受物理启发的降维方法，即LQE。LQE模拟了传感器的量子效率曲线，通过参数化平滑的高阶光谱响应函数，将高维光谱数据映射到低维空间。这种方法既能降低数据维度，又能保留判别信息，同时还具有物理可解释性。
技术框架：LQE可以作为一个预处理模块嵌入到现有的语义分割模型中。整体流程如下：首先，高光谱图像输入LQE模块进行降维；然后，降维后的光谱数据输入到语义分割模型（如DeepLabv3+、SegNet等）进行分割；最后，输出分割结果。LQE模块是端到端可训练的，可以与语义分割模型联合优化。
关键创新：LQE最重要的技术创新点在于其物理约束。与传统的降维方法和无约束的学习方法不同，LQE强制执行了物理动机的约束，包括：(1) 单个主导峰值，模拟传感器在特定波长范围内具有最高的响应；(2) 平滑响应，避免光谱响应的剧烈变化；(3) 有界带宽，限制光谱响应的范围。这些约束使得LQE学习到的光谱滤波器更加合理和可解释。
关键设计：LQE的关键设计包括：(1) 使用高阶多项式函数来参数化光谱响应曲线，保证其平滑性；(2) 使用Sigmoid函数来约束光谱响应的范围在0到1之间；(3) 使用损失函数来惩罚不满足物理约束的光谱响应，例如，惩罚具有多个峰值或带宽过大的响应。实验中，作者发现低阶配置（如3阶或4阶多项式）通常能取得最佳效果。参数量非常少，通常只有12-36个参数。
🖼️ 关键图片
📊 实验亮点
实验结果表明，LQE在三个公开的高光谱城市驾驶数据集（HyKo、HSI-Drive和Hyperspectral City）上均取得了优异的性能。与传统的降维方法相比，LQE的平均mIoU分别提高了2.45%、0.45%和1.04%；与可学习的降维方法相比，LQE的平均mIoU分别提高了1.18%、1.56%和0.81%。同时，LQE具有很高的参数效率，仅需12-36个参数，远低于其他可学习的降维方法（51-22K个参数）。
🎯 应用场景
该研究成果可应用于自动驾驶、城市规划、遥感监测等领域。通过LQE进行高光谱数据降维，可以提高城市环境语义分割的效率和准确性，从而提升自动驾驶系统的感知能力，为城市规划提供更精细的数据支持，并为遥感图像的分析提供更有效的工具。此外，LQE的设计思想也可以用于指导新型多光谱传感器的设计。
📄 摘要（原文）
Hyperspectral sensing provides rich spectral information for scene understanding in urban driving, but its high dimensionality poses challenges for interpretation and efficient learning. We introduce Learnable Quantum Efficiency (LQE), a physics-inspired, interpretable dimensionality reduction (DR) method that parameterizes smooth high-order spectral response functions that emulate plausible sensor quantum efficiency curves. Unlike conventional methods or unconstrained learnable layers, LQE enforces physically motivated constraints, including a single dominant peak, smooth responses, and bounded bandwidth. This formulation yields a compact spectral representation that preserves discriminative information while remaining fully differentiable and end-to-end trainable within semantic segmentation models (SSMs). We conduct systematic evaluations across three publicly available multi-class hyperspectral urban driving datasets, comparing LQE against six conventional and seven learnable baseline DR methods across six SSMs. Averaged across all SSMs and configurations, LQE achieves the highest average mIoU, improving over conventional methods by 2.45\%, 0.45\%, and 1.04\%, and over learnable methods by 1.18\%, 1.56\%, and 0.81\% on HyKo, HSI-Drive, and Hyperspectral City, respectively. LQE maintains strong parameter efficiency (12--36 parameters compared to 51--22K for competing learnable approaches) and competitive inference latency. Ablation studies show that low-order configurations are optimal, while the learned spectral filters converge to dataset-intrinsic wavelength patterns. These results demonstrate that physics-informed spectral learning can improve both performance and interpretability, providing a principled bridge between hyperspectral perception and data-driven multispectral sensor design for automotive vision systems.