HyperSAM: A Promptable Foundation Model for Hyperspectral Remote Sensing

📄 arXiv: 2609.37340v1 📥 PDF

作者: Li Pang, Xinqiao Wu, Jing Yao, Pedram Ghamisi, Jun Zhou, Zhengchao Chen, Deyu Meng, Xiangyong Cao

分类: cs.CV

发布日期: 2026-09-29

备注: Accepted by IEEE Geoscience and Remote Sensing Magazine (GRSM)

💡 一句话要点

提出HyperSAM以解决高光谱遥感模型构建难题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 高光谱遥感 基础模型 数据合成 模型训练 伪标签 特征提取 异常检测 目标检测

📋 核心要点

  1. 现有高光谱遥感模型面临数据集缺乏高分辨率和可靠标注的问题，限制了模型的泛化能力。
  2. HyperSAM通过合成高光谱数据和使用SAM3的伪掩码，实现了高效的高光谱模型训练。
  3. 实验结果显示，HyperSAM在分类、异常检测等任务上表现优异，合成数据的效果优于传统的噪声监督方法。

📝 摘要（中文）

高光谱遥感提供密集的光谱测量，对材料级地球观测至关重要，但构建通用的高光谱基础模型仍然困难。主要瓶颈在于高光谱数据集缺乏高空间分辨率和可靠的密集标注，以及许多高光谱模型几乎从零开始训练，未能充分利用现代视觉基础模型学习的几何和交互先验。为了解决这些问题，本文提出了HyperSAM，一个可提示的高光谱基础模型，结合了数据中心的高光谱合成管道和基于Segment Anything Model 3 (SAM3)的光谱适应架构。HyperSAM通过物理启发的丰度转移生成器，从高分辨率的SpaceNet多光谱影像合成全光谱高光谱立方体，同时使用SAM3派生的伪掩码提供对象中心的监督。实验表明，HyperSAM在多种高光谱任务上表现出强大的泛化能力，且高质量的合成高光谱数据比简单扩展噪声高光谱监督更有效。

🔬 方法详解

问题定义：本论文旨在解决高光谱遥感领域中，缺乏高空间分辨率和可靠标注的数据集，以及现有模型几乎从零开始训练的问题。这些问题导致了模型无法充分利用已有的几何和交互先验知识。

核心思路：HyperSAM的核心思路是结合数据中心的高光谱合成管道与基于SAM3的光谱适应架构。通过合成高质量的高光谱数据，增强模型的训练效果，并利用伪掩码提供对象中心的监督。

技术框架：HyperSAM的整体架构包括两个主要模块：一是通过物理启发的丰度转移生成器合成全光谱高光谱立方体，二是使用SAM3的冻结RGB图像分支和可训练的高光谱侧编码器进行特征提取。此外，采用ControlNet风格的零初始化特征注入和轻量级的专家混合掩码细化器。

关键创新：HyperSAM的主要创新在于将高光谱合成与现代视觉模型的特征提取相结合，充分利用了SAM3的优势，显著提高了模型的训练效率和效果。

关键设计：在设计上，HyperSAM采用了Cross-modal Sample Selection (CromSS)风格的置信选择机制，以增强对噪声伪标签的训练鲁棒性。此外，网络结构中使用了从RGB视觉变换器（ViT）初始化的高光谱侧编码器，确保了模型的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HyperSAM在多种高光谱任务上表现出色，尤其是在分类和异常检测任务中，相较于传统方法，泛化能力显著提升，合成的高光谱数据在效果上优于直接扩展的噪声高光谱监督。

🎯 应用场景

HyperSAM在高光谱遥感领域具有广泛的应用潜力，包括材料分类、异常检测、变化检测、目标检测以及航空油污映射等。其高效的合成数据生成和模型训练方法能够为地球观测提供更准确的材料级信息，推动相关领域的研究与应用发展。

📄 摘要（原文）

Hyperspectral remote sensing provides dense spectral measurements that are indispensable for material-level Earth observation, yet the construction of a general-purpose hyperspectral foundation model remains difficult. Two bottlenecks are especially limiting. First, large hyperspectral corpora rarely provide high spatial resolution together with reliable dense annotations. Second, many hyperspectral models are still trained almost from scratch, so the geometric and interactive priors learned by modern vision foundation models are not fully reused. To alleviate these issues, we \highlight{present} \textbf{HyperSAM}, a promptable hyperspectral foundation model that couples a data-centric hyperspectral synthesis pipeline with a spectral adaptation architecture based on Segment Anything Model 3 (SAM3). On the data side, HyperSAM synthesizes full-spectrum hyperspectral cubes from high-resolution SpaceNet multispectral imagery through a physics-informed abundance-transfer generator, while SAM3-derived pseudo-masks provide object-centric supervision. On the model side, the latest implementation uses a frozen SAM3 RGB image branch, a trainable hyperspectral side encoder initialized from the RGB vision transformer (ViT), ControlNet-style zero-initialized feature injection, and a lightweight mixture-of-experts mask refiner. To enhance training robustness against noisy pseudo-labels, Cross-modal Sample Selection (CromSS)-style confidence selection is incorporated for noisy-label weighting. Extensive experiments show that HyperSAM obtains strong generalization on diverse hyperspectral tasks (e.g., classification, anomaly detection, change detection, target detection, and airborne oil-spill mapping) and that high-quality synthetic hyperspectral data can be more effective than simply scaling noisy hyperspectral supervision.