Hyperspectral Mamba for Hyperspectral Object Tracking

📄 arXiv: 2509.08265v1 📥 PDF

作者: Long Gao, Yunhe Zhang, Yan Jiang, Weiying Xie, Yunsong Li

分类: cs.CV

发布日期: 2025-09-10

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于Mamba的HyMamba网络，用于高光谱目标跟踪，提升复杂场景下的跟踪精度。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 高光谱图像 目标跟踪 Mamba 状态空间模型 序列建模 跨深度交互 光谱特征

📋 核心要点

  1. 现有高光谱目标跟踪方法难以有效捕捉光谱信息、时间依赖和跨深度交互，限制了跟踪性能。
  2. HyMamba通过光谱状态集成（SSI）模块和高光谱Mamba（HSM）模块，统一建模光谱、跨深度和时间信息。
  3. 实验表明，HyMamba在多个基准数据集上取得了SOTA性能，例如在HOTC2020上AUC达到73.0%。

📝 摘要（中文）

本文提出了一种新的高光谱目标跟踪网络HyMamba，该网络配备了Mamba结构，旨在解决现有高光谱跟踪器无法有效捕获内在光谱信息、时间依赖性和跨深度交互的问题。HyMamba通过状态空间模块（SSM）统一了光谱、跨深度和时间建模。其核心是光谱状态集成（SSI）模块，该模块能够以跨深度和时间光谱信息逐步细化和传播光谱特征。在每个SSI中嵌入了高光谱Mamba（HSM）模块，通过三个方向扫描SSM同步学习空间和光谱信息。基于SSI和HSM，HyMamba构建了来自伪彩色和高光谱输入的联合特征，并通过与从原始高光谱图像中提取的原始光谱特征交互来增强这些特征。在七个基准数据集上进行的大量实验表明，HyMamba实现了最先进的性能。例如，在HOTC2020数据集上，它实现了73.0%的AUC分数和96.3%的DP@20分数。代码将在https://github.com/lgao001/HyMamba发布。

🔬 方法详解

问题定义：现有高光谱目标跟踪方法主要存在三个痛点：一是难以充分利用高光谱图像固有的丰富光谱信息；二是忽略了目标在时间序列上的依赖关系；三是缺乏有效的跨深度（光谱通道）信息交互机制。这些问题导致现有方法在复杂场景下的跟踪精度受限。

核心思路：HyMamba的核心思路是利用Mamba架构强大的序列建模能力，同时考虑高光谱数据的特点，设计专门的模块来捕捉光谱信息、时间依赖和跨深度交互。通过将高光谱数据视为一种特殊的序列数据，并利用状态空间模型（SSM）进行建模，从而实现更有效的特征提取和目标跟踪。

技术框架：HyMamba的整体架构包含以下几个主要模块：1) 特征提取模块：分别从伪彩色图像和原始高光谱图像中提取初始特征。2) 光谱状态集成（SSI）模块：通过迭代的方式，融合光谱、跨深度和时间信息，逐步细化光谱特征。3) 高光谱Mamba（HSM）模块：嵌入在SSI模块中，利用三个方向扫描的SSM同步学习空间和光谱信息。4) 联合特征融合模块：将来自伪彩色图像和高光谱图像的特征进行融合，并与原始光谱特征进行交互，得到最终的跟踪结果。

关键创新：HyMamba最重要的技术创新点在于SSI模块和HSM模块的设计。SSI模块通过迭代的方式，逐步融合光谱、跨深度和时间信息，从而更有效地利用高光谱数据。HSM模块则通过三个方向扫描的SSM，同步学习空间和光谱信息，避免了传统方法中空间和光谱信息分离处理的问题。此外，将Mamba架构引入高光谱目标跟踪领域也是一个重要的创新。

关键设计：HSM模块中，采用了三个方向（水平、垂直、对角线）扫描的SSM，以捕捉不同方向上的空间和光谱信息。SSI模块的迭代次数是一个重要的参数，需要根据具体数据集进行调整。损失函数方面，可以使用传统的跟踪损失函数，例如IoU损失或中心距离损失。网络结构方面，可以采用ResNet等常用的骨干网络作为特征提取器。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HyMamba在七个基准数据集上取得了SOTA性能。在HOTC2020数据集上，AUC得分达到73.0%，DP@20得分达到96.3%，显著优于现有方法。实验结果表明，HyMamba能够有效利用高光谱信息，提高复杂场景下的目标跟踪精度。

🎯 应用场景

HyMamba在高光谱目标跟踪领域具有广泛的应用前景，例如遥感图像分析、精准农业、环境监测、军事侦察等。通过对高光谱图像中的特定目标进行精确跟踪，可以实现对地物变化的监测、农作物生长状态的评估、污染源的追踪等任务，具有重要的实际应用价值和未来发展潜力。

📄 摘要（原文）

Hyperspectral object tracking holds great promise due to the rich spectral information and fine-grained material distinctions in hyperspectral images, which are beneficial in challenging scenarios. While existing hyperspectral trackers have made progress by either transforming hyperspectral data into false-color images or incorporating modality fusion strategies, they often fail to capture the intrinsic spectral information, temporal dependencies, and cross-depth interactions. To address these limitations, a new hyperspectral object tracking network equipped with Mamba (HyMamba), is proposed. It unifies spectral, cross-depth, and temporal modeling through state space modules (SSMs). The core of HyMamba lies in the Spectral State Integration (SSI) module, which enables progressive refinement and propagation of spectral features with cross-depth and temporal spectral information. Embedded within each SSI, the Hyperspectral Mamba (HSM) module is introduced to learn spatial and spectral information synchronously via three directional scanning SSMs. Based on SSI and HSM, HyMamba constructs joint features from false-color and hyperspectral inputs, and enhances them through interaction with original spectral features extracted from raw hyperspectral images. Extensive experiments conducted on seven benchmark datasets demonstrate that HyMamba achieves state-of-the-art performance. For instance, it achieves 73.0\% of the AUC score and 96.3\% of the DP@20 score on the HOTC2020 dataset. The code will be released at https://github.com/lgao001/HyMamba.