Vision-Language Guided Hyperspectral Object Tracking via Semantics Fusion and Contextual Template Updating

📄 arXiv: 2606.09167v1 📥 PDF

作者: Rui Yao, Yuhong Zhang, Kunyang Sun, Hancheng Zhu, Jiaqi Zhao, Zhiwen Shao, Abdulmotaleb El Saddik

分类: cs.CV

发布日期: 2026-06-08

备注: 14 pages,8 figures

💡 一句话要点

提出VLHTrack以解决高光谱目标跟踪中的光谱冗余问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 高光谱目标跟踪 语言引导 多模态融合 动态模板更新 光谱冗余

📋 核心要点

  1. 现有高光谱目标跟踪方法在光谱信息提取和利用上存在冗余问题，影响模型的泛化能力和跟踪性能。
  2. 本文提出VLHTrack框架，通过语言引导的波段选择模块和动态模板更新策略，解决光谱冗余和目标变形问题。
  3. 实验结果显示，VLHTrack在HOT2023和HOT2024数据集上表现优异，超越了当前最先进的跟踪方法。

📝 摘要（中文）

高光谱目标跟踪（HOT）利用高光谱视频（HSV）提供的丰富光谱信息，具有显著的目标跟踪潜力。然而，从冗余光谱波段中高效提取和利用光谱信息仍然是一个基本挑战，严重限制了模型的泛化能力和跟踪性能。此外，在动态场景中，目标由于遮挡和光照变化等因素常常经历剧烈的外观变化，这导致当前帧与模板之间存在较大变形。这些差异对现有的时间建模方法构成了重大挑战。本文提出了VLHTrack，一个新颖的高光谱视觉-语言联合跟踪框架。我们设计了语言引导的波段选择模块（LBSM），通过利用大型语言模型（LLM）描述，建立语义到光谱的映射，减轻冗余并强调区分性光谱特征。实验结果表明，VLHTrack在HOT2023和HOT2024数据集上优于现有最先进的方法。

🔬 方法详解

问题定义：本文旨在解决高光谱目标跟踪中光谱冗余和目标外观变形的问题。现有方法在动态场景中难以有效处理这些挑战，导致跟踪性能下降。

核心思路：论文提出的核心思路是结合语言信息来引导光谱波段选择，从而减轻冗余并增强区分性特征，同时通过动态模板更新策略应对目标变形。

技术框架：VLHTrack框架主要包括两个模块：语言引导的波段选择模块（LBSM）和动态模板更新模块（DTUM）。LBSM通过语义映射选择有效波段，DTUM则利用状态空间建模更新模板特征。

关键创新：最重要的创新在于引入语言信息来指导光谱波段选择，建立了语义到光谱的映射，显著提升了特征提取的有效性和跟踪的鲁棒性。

关键设计：在LBSM中，使用大型语言模型（LLM）进行描述生成，并通过选择性状态空间建模来实现DTUM的动态更新，确保模板特征的有效演变。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在HOT2023和HOT2024数据集上的实验结果显示，VLHTrack在跟踪精度和鲁棒性方面显著优于现有最先进的方法，具体性能提升幅度达到XX%（具体数据未知），证明了其有效性和实用性。

🎯 应用场景

该研究在高光谱图像处理、智能监控、无人驾驶等领域具有广泛的应用潜力。通过提高目标跟踪的准确性和鲁棒性，VLHTrack可为实时监控和自动化系统提供更可靠的支持，推动相关技术的发展。

📄 摘要（原文）

Hyperspectral object tracking (HOT) leverages the rich spectral information provided by hyperspectral videos (HSVs), offering substantial potential for object tracking. However, efficiently extracting and exploiting spectral information from redundant spectral bands remains a fundamental challenge, which severely limits model generalization and tracking performance. Moreover, in dynamic scenes, targets often experience drastic appearance variations due to factors such as occlusion and illumination changes. These variations lead to large deformations between the current frame and the template. Such discrepancies pose major challenges for existing temporal modeling approaches. In this work, we propose VLHTrack, a novel hyperspectral vision-language (VL) joint tracking framework. Specifically, we incorporate language priors to address the fundamental challenge of spectral redundancy by designing a Language-Guided Band Selection Module (LBSM). By leveraging Large Language Model (LLM) descriptions, LBSM establishes a semantic-to-spectral mapping that mitigates redundancy and accentuates discriminative spectral features. A Multi-Modal Vision-Language Fusion Module is then employed to seamlessly integrate visual and linguistic embeddings, harnessing their complementary advantages to learn coherent cross-modal representations. To address target deformation in long-term sequences, we propose a dynamic update template feature strategy implemented via the Dynamic Template Update with Mamba (DTUM) module. By leveraging selective state space modeling, DTUM learns inter-frame dependencies to update template feature, ensuring efficient template feature evolution guided by temporal context. Experiments on HOT2023 and HOT2024 demonstrate that VLHTrack outperforms state-of-the-art (SOTA) methods.