Toward Interpretable Multimodal Fusion: Heat Conduction Modeling for Hyperspectral and LiDAR Joint Classification

📄 arXiv: 2609.11040v1 📥 PDF

作者: Kan Wei, Jiahui Cui, Jing Yao, Xinyu Zhao, Lei Wang, Pedram Ghamisi

分类: cs.CV, cs.AI

发布日期: 2026-09-10

备注: Accepted by IEEE TCSVT

💡 一句话要点

提出M2Heat以解决多模态融合中的长距离依赖建模问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 高光谱数据 激光雷达 热传导模型 特征表示 可解释性 遥感 深度学习

📋 核心要点

  1. 现有多模态融合方法在建模长距离依赖和复杂交互时面临效率和可解释性不足的挑战。
  2. M2Heat通过热传导模型引入物理驱动的视觉热传导模块，模拟信息流动以捕获全局依赖。
  3. 在Trento、Houston2013和Augsburg基准测试中，M2Heat展现出优越的性能，提供了可解释的特征融合视角。

📝 摘要（中文）

高光谱（HS）与激光雷达（LiDAR）数据的融合在土地覆盖分类中至关重要，能够共同利用光谱、空间和结构线索。然而，现有的多模态融合方法在建模长距离依赖和复杂各向异性交互时仍面临挑战，同时需要保持计算效率。本文提出了M2Heat，一个受物理启发的框架，通过热传导的视角研究多模态融合。其核心是一个物理驱动的视觉热传导模块（vHeat）和增强的频率值嵌入（FVE），模拟各向异性信息流，以亚二次复杂度捕获全局依赖性，并具备物理可解释性。结合名为交叉频率融合（CFF）模块的混合空间-频率融合策略，M2Heat生成高度区分和鲁棒的特征表示。M2Heat在Trento、Houston2013和Augsburg三个基准上表现出竞争力，同时为多模态特征融合提供了可解释的热传导引导视角。

🔬 方法详解

问题定义：本论文旨在解决高光谱与激光雷达数据融合中的长距离依赖建模和复杂交互的不足，现有方法在计算效率和可解释性方面存在明显短板。

核心思路：M2Heat通过热传导的物理模型来模拟信息流动，利用物理驱动的视觉热传导模块（vHeat）和增强的频率值嵌入（FVE）来捕获全局依赖性，从而提高融合效果。

技术框架：M2Heat的整体架构包括视觉热传导模块（vHeat）和交叉频率融合模块（CFF）。vHeat负责模拟各向异性信息流动，而CFF则结合空间和频率信息进行特征融合。

关键创新：M2Heat的主要创新在于引入热传导模型作为多模态融合的基础，提供了物理可解释性和亚二次复杂度的全局依赖捕获能力，这与传统方法形成鲜明对比。

关键设计：在设计中，FVE用于增强特征表示，CFF模块则通过混合空间和频率信息来提高特征的区分能力，整体架构优化了计算效率和可解释性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

M2Heat在Trento、Houston2013和Augsburg三个基准测试中表现出色，提供了竞争力的分类性能，具体提升幅度未知。其热传导引导的特征融合方法不仅提高了分类精度，还增强了模型的可解释性，显示出其在遥感多模态融合中的潜力。

🎯 应用场景

该研究的潜在应用领域包括遥感图像分析、环境监测和城市规划等。通过有效融合高光谱与LiDAR数据，M2Heat能够为土地覆盖分类提供更准确的结果，进而推动相关领域的研究和应用发展。未来，热传导引导的神经操作有望在其他多模态数据融合任务中发挥重要作用。

📄 摘要（原文）

The fusion of hyperspectral (HS) and Light Detection and Ranging (LiDAR) data plays a crucial role in enhancing land-cover classification by jointly exploiting spectral, spatial, and structural cues. However, existing multimodal fusion methods still struggle to model long-range dependencies and complex anisotropic interactions while maintaining computational efficiency. This paper introduces M2Heat, a physics-inspired framework that investigates multimodal fusion through the lens of heat conduction. At its core, a physics-driven visual heat conduction module (vHeat) and enhanced Frequency Value Embeddings (FVEs) simulate anisotropic information flow, enabling the capture of global dependencies with sub-quadratic complexity and physical interpretability. This mechanism, combined with a hybrid spatial-frequency fusion strategy named Cross-Frequency Fusion (CFF) module, produces highly discriminative and robust feature representations. M2Heat achieves competitive overall performance on three benchmarks, i.e., Trento, Houston2013, and Augsburg, while providing an interpretable heat-conduction-guided perspective for multimodal feature fusion. These results indicate the potential of heat-conduction-guided neural operators for efficient and interpretable RS multimodal fusion. The source code is publicly available at https: /github.com/Weikan0425/M2Heat_HSI_LiDAR.