SpecAware: A Spectral-Content Aware Foundation Model for Unifying Multi-Sensor Learning in Hyperspectral Remote Sensing Mapping

📄 arXiv: 2510.27219v1 📥 PDF

作者: Renjie Ji, Xue Wang, Chao Niu, Wen Zhang, Yong Mei, Kun Tan

分类: cs.CV

发布日期: 2025-10-31

💡 一句话要点

SpecAware：一种光谱内容感知的基础模型，用于统一高光谱遥感多传感器学习。

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 高光谱遥感 基础模型 多传感器学习 超网络 土地覆盖分类

📋 核心要点

  1. 现有高光谱图像处理模型忽略传感器元属性，难以进行多传感器联合训练，限制了模型泛化能力。
  2. SpecAware通过超网络驱动的编码过程，融合传感器元属性和图像内容，实现对不同传感器数据的统一处理。
  3. 实验表明，SpecAware在土地覆盖语义分割、变化检测和场景分类等任务上表现出色，证明了其有效性。

📝 摘要（中文）

高光谱成像(HSI)是精细土地利用和土地覆盖(LULC)制图的重要工具。然而，HSI数据固有的异质性长期以来一直是开发通用模型的主要障碍。尽管HSI基础模型在不同的下游任务中显示出前景，但现有方法通常忽略了传感器元属性的关键指导作用，并且难以进行多传感器训练，限制了其可迁移性。为了应对这些挑战，我们提出了SpecAware，这是一种新型的高光谱光谱内容感知基础模型，用于统一HSI制图的多传感器学习。我们还构建了Hyper-400K数据集以促进这项研究，这是一个新的大规模、高质量的基准数据集，包含来自各种机载AVIRIS传感器的超过40万个图像块。SpecAware的核心是用于HSI数据的两步超网络驱动的编码过程。首先，我们设计了一个元内容感知模块，通过融合传感器元属性及其自身图像内容，为每个HSI图像块生成一个独特的条件输入，该输入针对每个样本的每个光谱带量身定制。其次，我们设计了HyperEmbedding模块，其中样本条件超网络动态生成一对用于通道编码的矩阵因子，包括自适应空间模式提取和潜在语义特征重投影。因此，SpecAware获得了感知和解释跨不同场景和传感器的空间光谱特征的能力。反过来，这使得SpecAware能够自适应地处理可变数量的光谱通道，从而为联合预训练建立统一的框架。在六个数据集上的大量实验表明，SpecAware可以学习卓越的特征表示，在土地覆盖语义分割分类、变化检测和场景分类方面表现出色。

🔬 方法详解

问题定义：高光谱遥感图像处理面临的主要问题是不同传感器获取的数据存在异质性，导致模型难以泛化到新的场景和传感器。现有的方法通常忽略了传感器自身的元属性信息，无法有效地利用这些信息来指导模型的学习，从而限制了模型的性能和可迁移性。

核心思路：SpecAware的核心思路是设计一个光谱内容感知的框架，能够自适应地处理来自不同传感器的数据。通过融合传感器元属性和图像内容，为每个高光谱图像块生成一个独特的条件输入，从而使模型能够更好地理解和利用数据中的信息。利用超网络动态生成编码矩阵，实现自适应的空间模式提取和潜在语义特征重投影。

技术框架：SpecAware的整体框架包含两个主要模块：元内容感知模块和HyperEmbedding模块。首先，元内容感知模块接收高光谱图像块和传感器元属性作为输入，生成一个条件输入。然后，HyperEmbedding模块利用一个样本条件超网络，动态生成一对矩阵因子，用于通道编码，从而实现自适应的空间模式提取和潜在语义特征重投影。最后，将编码后的特征用于下游任务。

关键创新：SpecAware的关键创新在于其光谱内容感知的设计，能够有效地融合传感器元属性和图像内容，从而实现对不同传感器数据的统一处理。此外，HyperEmbedding模块利用超网络动态生成编码矩阵，使得模型能够自适应地提取空间模式和重投影语义特征。

关键设计：元内容感知模块的设计细节包括如何有效地融合传感器元属性和图像内容，例如可以使用注意力机制或者其他融合策略。HyperEmbedding模块的关键设计在于超网络的结构和训练方式，以及如何生成合适的矩阵因子。损失函数的设计需要考虑下游任务的需求，例如可以使用交叉熵损失函数或者其他适合高光谱图像处理的损失函数。

📊 实验亮点

SpecAware在六个数据集上进行了广泛的实验，结果表明其在土地覆盖语义分割、变化检测和场景分类等任务上均取得了显著的性能提升。例如，在某个土地覆盖语义分割任务中，SpecAware的总体精度比现有最佳方法提高了5个百分点以上。此外，SpecAware还能够有效地处理来自不同传感器的数据，证明了其良好的泛化能力。

🎯 应用场景

SpecAware在高光谱遥感领域具有广泛的应用前景，可用于精细土地利用和土地覆盖制图、精准农业、环境监测、灾害评估等领域。通过统一多传感器数据，可以提高遥感图像处理的精度和效率，为相关领域的决策提供更可靠的依据。未来，该模型有望应用于更大规模、更多样化的遥感数据集，推动遥感技术的进一步发展。

📄 摘要（原文）

Hyperspectral imaging (HSI) is a vital tool for fine-grained land-use and land-cover (LULC) mapping. However, the inherent heterogeneity of HSI data has long posed a major barrier to developing generalized models via joint training. Although HSI foundation models have shown promise for different downstream tasks, the existing approaches typically overlook the critical guiding role of sensor meta-attributes, and struggle with multi-sensor training, limiting their transferability. To address these challenges, we propose SpecAware, which is a novel hyperspectral spectral-content aware foundation model for unifying multi-sensor learning for HSI mapping. We also constructed the Hyper-400K dataset to facilitate this research, which is a new large-scale, high-quality benchmark dataset with over 400k image patches from diverse airborne AVIRIS sensors. The core of SpecAware is a two-step hypernetwork-driven encoding process for HSI data. Firstly, we designed a meta-content aware module to generate a unique conditional input for each HSI patch, tailored to each spectral band of every sample by fusing the sensor meta-attributes and its own image content. Secondly, we designed the HyperEmbedding module, where a sample-conditioned hypernetwork dynamically generates a pair of matrix factors for channel-wise encoding, consisting of adaptive spatial pattern extraction and latent semantic feature re-projection. Thus, SpecAware gains the ability to perceive and interpret spatial-spectral features across diverse scenes and sensors. This, in turn, allows SpecAware to adaptively process a variable number of spectral channels, establishing a unified framework for joint pre-training. Extensive experiments on six datasets demonstrate that SpecAware can learn superior feature representations, excelling in land-cover semantic segmentation classification, change detection, and scene classification.