When Integral Meets Decomposition: A Signal-Level Self-Supervised Feature Decompose Paradigm for Multi-Modal Image Fusion

📄 arXiv: 2609.39004v1 📥 PDF

作者: Zeyu Wang, Jiayu Wang, Haiyu Song, Haoran Duan

分类: cs.CV

发布日期: 2026-09-30

💡 一句话要点

提出信号级自监督特征分解范式以解决多模态图像融合问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 自监督学习 特征分解 信号处理 图像重建

📋 核心要点

  1. 现有多模态图像融合方法在特征分解上缺乏明确的监督，导致优化不稳定。
  2. 本文提出了一种一维信号级自监督特征分解范式，通过积分驱动的优化方法提升分解效果。
  3. 实验结果显示，所提方法在多个MMIF任务上实现了最先进的性能，优于现有基线。

📝 摘要（中文）

多模态图像融合（MMIF）旨在将不同模态的互补信息整合为高质量的融合图像，并支持下游任务。现有方法在特征分解上缺乏明确的监督，通常依赖于多个图像级指标作为损失函数，导致不完整且可能冲突。为此，本文提出了一种一维信号级自监督特征分解范式，将特征分解问题从模糊的二维图像级监督重构为以积分驱动的一维信号级优化问题。该模型通过两个阶段的自监督学习框架进行优化，实验结果表明在代表性的MMIF任务上达到了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决多模态图像融合中的特征分解问题，现有方法因缺乏明确的监督而导致优化不稳定，且图像级损失函数可能存在冲突。

核心思路：论文的核心思路是将特征分解从模糊的二维图像级监督转变为以积分驱动的一维信号级优化问题，从而提供更清晰的优化目标。

技术框架：整体架构分为两个阶段：第一阶段设计了双重预训练任务，分别用于信号级的积分驱动分解和图像级的结构保持重建；第二阶段则融合独特特征并与共同特征结合以重建融合图像。

关键创新：最重要的技术创新在于将特征分解问题重构为一维信号级的优化问题，这一设计使得优化过程更加稳定且目标明确。

关键设计：在损失函数设计上，采用了积分约束来优化分解器，确保共同信号与原始信号之间的积分区域得到有效利用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个代表性的多模态图像融合任务中，所提方法实现了最先进的性能，相较于现有基线提升幅度显著，具体性能数据未明确给出，但实验结果表明其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括医学影像处理、遥感图像分析和计算机视觉等。通过有效融合多模态信息，能够提升图像质量和信息提取能力，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Multimodal image fusion (MMIF) aims to integrate complementary information from different modalities into a high-quality fused image and support downstream tasks. Recently, feature decomposition has become an important paradigm by separating source images into common and modality-specific unique features. However, existing methods lack clear supervision because ground-truth (GT) decomposition feature maps are unavailable. They usually combine multiple image-level metrics as losses, which are inherently incomplete and may conflict since each pixel couples attributes such as texture, edge, and contour. To address this, we propose a 1D signal-level self-supervised feature decomposition paradigm. Our core insight is to reformulate feature decomposition from unclear 2D image-level supervision into an integral-driven 1D signal-level optimization problem. This objective-level reformulation uses the 1D signal form to compute the integral constraint. The decomposer is optimized by the integral area between common and original signals, enabling more stable optimization with a clear optimization objective. Our model follows a two-stage SSL framework. Stage I designs dual pretext tasks for integral-driven decomposition at the signal level and structure-preserving reconstruction at the image level. Stage II fuses unique features and combines them with common features to reconstruct the fused image. Experiments on representative MMIF tasks show state-of-the-art (SOTA) performance. Code: github.com/Wangjiayu0512/SIDFusion.