BCG-Former: Toward Pareto-Efficient Hyperspectral Image Classification via Band-Contextual Gating

📄 arXiv: 2607.15639 📥 PDF

作者: Gaurav Sharma, Eungjoo Lee

分类: cs.CV

发布日期: 2026-07-20

💡 一句话要点

提出BCG-Former以解决高光谱图像分类中的效率与准确性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱五：交互与反应 (Interaction & Reaction)

关键词: 高光谱图像分类 带上下文门控 轻量级模型 CNN-Transformer混合 实时遥感 计算效率 准确性优化 深度学习

📋 核心要点

  1. 现有的高光谱图像分类方法往往忽视了在严格计算预算下的延迟和内存限制，导致实际应用受限。
  2. BCG-Former通过引入带上下文门控、光谱摘要标记和高效的表示学习方法，旨在实现准确性与效率的平衡。
  3. 在多个经典和无人机基准数据集上，BCG-Former的准确率达到91.51%至99.49%，且推理延迟保持在0.91-0.95毫秒之间。

📝 摘要（中文）

高光谱图像（HSI）分类系统越来越多地应用于计算预算严格的平台，如无人机和小型空间传感器。在这些环境中，仅仅追求准确性是不够的，模型还必须在严格的延迟和内存限制内运行。然而，现有的HSI分类器大多关注准确性，较少考虑这些限制。为此，本文提出了BCG-Former，这是一种轻量级的CNN-Transformer混合模型，旨在平衡准确性与效率。该模型引入了三项创新：自适应光谱重校准的带上下文门控（BCG）、连接光谱和空间特征的光谱摘要标记，以及结合线性注意力的单次带-RoPE以实现高效的联合表示学习。实验结果表明，BCG-Former在多个基准数据集上表现出色，准确率高达99.49%，且推理延迟低于1毫秒，参数量仅为0.10-0.23M。

🔬 方法详解

问题定义：本文旨在解决高光谱图像分类中，现有方法在准确性与计算效率之间的权衡问题。大多数现有模型过于关注准确性，导致在实际应用中难以满足延迟和内存的严格要求。

核心思路：BCG-Former通过结合CNN和Transformer的优点，设计了一种轻量级模型，旨在在保持高准确率的同时，降低计算成本和延迟。其核心思想是利用带上下文门控和光谱摘要标记来优化光谱特征的处理。

技术框架：BCG-Former的整体架构包括三个主要模块：带上下文门控（BCG）模块用于自适应光谱重校准，光谱摘要标记用于连接光谱与空间特征，以及结合线性注意力的单次带-RoPE模块以实现高效的联合表示学习。

关键创新：最重要的技术创新在于引入了带上下文门控（BCG），该模块通过局部光谱上下文和可学习的温度加热来实现自适应重校准，显著提升了模型的性能。

关键设计：模型参数设置为0.10-0.23M，推理延迟控制在0.91-0.95毫秒，损失函数采用标准的交叉熵损失，网络结构结合了CNN和Transformer的特性，以实现高效的特征提取和表示学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

BCG-Former在多个基准数据集上表现优异，准确率从91.51%（Houston 2018）到99.49%（Houston 2013），同时保持推理延迟在0.91-0.95毫秒之间。与现有的CNN、Transformer及Mamba方法相比，BCG-Former在计算成本上具有显著优势，且在准确性与延迟的Pareto前沿上表现出色。

🎯 应用场景

BCG-Former在高光谱图像分类领域具有广泛的应用潜力，尤其适用于无人机监测、农业遥感、环境监测等实时和大规模的遥感应用。其高效的计算性能和准确性使其能够在资源受限的环境中发挥重要作用，推动相关领域的技术进步。

📄 摘要（原文）

Hyperspectral image (HSI) classification systems are increasingly deployed on platforms with strict computational budgets, such as UAVs and small spaceborne sensors. In these settings, accuracy alone is not enough; the model must also run within tight latency and memory constraints. Most recent HSI classifiers, however, focus on accuracy and pay relatively little attention to these constraints. We propose BCG-Former, a lightweight CNN-Transformer hybrid that targets this trade-off. The model introduces three innovations: (1) Band-Contextual Gating (BCG) for adaptive spectral recalibration using local inter-band context and learnable temperature sharpening, (2) a spectral summary token that bridges spectral and spatial features, and (3) single-pass Band-RoPE combined with linear attention for efficient joint representation learning. Evaluated on classical airborne (Pavia University, Salinas, Indian Pines, Houston 2013/2018) and UAV-borne benchmark datasets (WHU-Hi-LongKou, HongHu, and HanChuan), BCG-Former achieves over-all accuracy ranging from 91.51% on Houston 2018 to 99.49% on Houston 2013, while maintaining sub-millisecond inference latency (0.91-0.95ms) and using only 0.10-0.23M parameters. Across all eight benchmarks, BCG-Former consistently resides on or near the Pareto frontier of accuracy versus latency, outperforming or matching recent CNN-, Transformer-, and Mamba-based methods at a fraction of their computational cost. Ablation studies confirm that all three components are complementary, with BCG providing the largest individual contribution. These results establish BCG-Former as a strong accuracy-efficiency Pareto candidate for real-time and large-scale remote sensing applications.