MBTI: A Multi-Branch Efficient Fine-Tuning Framework for Hyperspectral Image Classification with Foundation Models

📄 arXiv: 2607.12782v1 📥 PDF

作者: Mingzhen Xu, Haonan Guo, Di Wang, Yinghua Qu, Zhiliang Zhou, Lei Zhang, Huiwen Yao, Rui Zhao, Fengxiang Wang, Gang Wan, Bo Du, Liangpei Zhang

分类: cs.CV

发布日期: 2026-07-14

备注: The code will be available at https://github.com/Azhenmiddleblock/MBTI/tree/main

🔗 代码/项目: GITHUB

💡 一句话要点

提出MBTI框架以解决高光谱图像分类中的模型迁移问题

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 高光谱图像 模型迁移 多分支微调 低秩适应 光谱连续性 图像分类 深度学习

📋 核心要点

  1. 现有高光谱图像分类方法在模型迁移时常因光谱带配置差异而面临信息丢失和局部连续性削弱的问题。
  2. MBTI框架通过多分支预处理策略和低秩适应模块，保留完整光谱信息并学习任务特定的判别特征。
  3. 在三个公共高光谱数据集上的实验结果表明，MBTI在性能上优于多种代表性分类方法，参数可训练性仅为2.33%-2.36%。

📝 摘要（中文）

高光谱基础模型从大规模无标签数据中学习可转移的光谱-空间表示，为有限标签样本的下游高光谱图像分类任务提供了有效的适应范式。然而，不同传感器的光谱带配置差异显著，直接模型迁移面临挑战。现有的适应策略往往会压缩、选择或重塑原始光谱，可能会丢失有用的光谱信息并削弱局部光谱连续性。为了解决这一问题，本文提出了MBTI，一个多分支高效微调框架，旨在在保留全光谱信息的同时，将高光谱基础模型适应于下游分类任务。

🔬 方法详解

问题定义：本文旨在解决高光谱图像分类中由于传感器光谱带配置差异导致的模型迁移困难，现有方法往往会丢失重要的光谱信息。

核心思路：MBTI框架通过多分支预处理策略和独立的低秩适应模块，确保在适应下游任务时保留完整的光谱信息，同时实现高效的微调。

技术框架：MBTI的整体架构包括三个主要模块：光谱连续性保持的多分支预处理、独立的低秩适应模块以及多分支通道注意力融合模块。

关键创新：MBTI的创新在于其多分支预处理策略和低秩适应模块的结合，避免了传统方法中光谱信息的丢失，保持了局部光谱的连续性。

关键设计：在设计中，原始高光谱图像被划分为多个连续的光谱子集，并采用带重用机制以避免无效填充；每个分支中插入独立的低秩适应模块，保持大部分预训练参数不变。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在三个公共高光谱数据集上的实验结果显示，MBTI框架在分类性能上优于多种代表性方法，最终的rank-8配置下，仅约2.33%-2.36%的参数可训练，展现了其高效性和竞争力。

🎯 应用场景

该研究的潜在应用领域包括遥感图像分析、农业监测、环境监测等高光谱图像分类任务。通过提高分类精度和效率，MBTI框架能够为实际应用提供更可靠的决策支持，推动相关领域的发展。

📄 摘要（原文）

Hyperspectral foundation models learn transferable spectral-spatial representations from large-scale unlabeled data. They provide an effective paradigm for adapting to downstream hyperspectral image (HSI) classification tasks with limited labeled samples. However, spectral band configurations vary substantially across sensors, which makes direct model transfer difficult. Existing adaptation strategies often compress, select, or reshape the original spectra to match model-specific input requirements. These operations may discard useful spectral information and weaken local spectral continuity. To address this problem, we propose MBTI, a Multi-Branch efficient fine-tuning framework for Hyperspectral Image classification. MBTI adapts hyperspectral foundation models to downstream classification tasks while preserving full-band spectral information. First, we introduce a spectral-continuity-preserving multi-branch preprocessing strategy. The original HSI is divided into multiple continuous spectral subsets, and a band reuse mechanism is used when the remaining bands cannot form a complete branch. This avoids invalid padding and unnecessary spectral loss. Second, independent Low-Rank Adaptation (LoRA) modules are inserted into each branch. They enable different spectral intervals to learn task-specific discriminative features while keeping most pre-trained parameters frozen. Finally, a multi-branch channel attention fusion module adaptively recalibrates and integrates features from all spectral branches. Experiments on three public hyperspectral datasets show that MBTI achieves competitive and superior performance compared with representative classification methods. Under the final rank-8 configuration, only about 2.33\%--2.36\% of the parameters are trainable. The code will be available at https://github.com/Azhenmiddleblock/MBTI/tree/main.