Multimodal Fusion of RGB and Complementary Modalities for Semantic Segmentation

📄 arXiv: 2610.17800v1 📥 PDF

作者: Hu Cao, Yifeng Cheng, Mu He, Mengyu Li, Yinlong Liu, Alois Knoll

分类: cs.CV

发布日期: 2026-10-13

备注: This work is submitted to the IJCV journal

💡 一句话要点

提出双向极性感知跨模态融合模块以解决多模态语义分割问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 语义分割 深度学习 特征对齐 计算机视觉

📋 核心要点

  1. 现有的多模态语义分割方法在不同传感器特征匹配和融合稳定性方面存在挑战。
  2. 本文提出的双向极性感知跨模态融合模块能够有效捕捉互补信息并增强特征对齐。
  3. 在RGB-热成像、RGB-LiDAR等六种模态配对上，模型在多个公共数据集上实现了最先进的性能。

📝 摘要（中文）

多模态语义分割通过将辅助传感流（如热成像、LiDAR、深度等）添加到RGB图像中，提升了在低光照和运动模糊条件下的鲁棒性。然而，不同传感器产生的特征往往不匹配，导致融合不稳定。为了解决这一问题，本文提出了一种双向极性感知跨模态融合（BPCF）模块，有效捕捉互补线索并增强特征对齐。我们在六种模态配对上评估了该框架，模型在八个公共数据集上取得了最先进的结果。

🔬 方法详解

问题定义：本文旨在解决多模态语义分割中不同传感器特征不匹配和融合不稳定的问题。现有方法在低光照和运动模糊条件下的表现不佳，限制了其应用。

核心思路：提出双向极性感知跨模态融合（BPCF）模块，通过捕捉互补线索和增强特征对齐来提升融合效果。该设计旨在解决不同模态之间的特征不一致性。

技术框架：整体架构包括输入RGB图像和辅助模态，通过BPCF模块进行特征融合，最后通过语义分割网络进行处理。主要模块包括特征提取、极性感知和融合模块。

关键创新：BPCF模块是本文的核心创新，能够在特征融合过程中有效捕捉互补信息，显著提高了不同模态特征的对齐精度，与传统方法相比具有更好的稳定性和鲁棒性。

关键设计：在网络结构上，采用了多层特征提取和融合策略，损失函数设计上考虑了特征对齐和互补信息的权重，确保了模型在多模态环境下的有效性。具体参数设置和网络架构将在代码发布时提供。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在RGB-热成像、RGB-LiDAR等六种模态配对上，模型在八个公共数据集上取得了最先进的结果，显著提升了语义分割的准确性，具体性能数据将在论文中详细列出。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人视觉、环境监测等，能够在复杂环境下提供更为准确的语义分割结果。未来，该技术有望推动多模态感知系统的进一步发展，提高智能系统在动态和不确定环境中的表现。

📄 摘要（原文）

Multi-modal semantic segmentation adds an auxiliary sensing stream to RGB images (RGB-X), such as thermal, LiDAR, depth, event, polarization, or light field. This can improve robustness in poor lighting and under motion blur. But different sensors often produce features that do not match well, and fusion can become unstable. To alleviate these issues, we propose a bidirectional polarity-aware cross-modality fusion (BPCF) module that effectively captures complementary cues while enhancing feature alignment. We evaluate the framework on six modality pairings: RGB-Thermal, RGB-LiDAR, RGB-Depth, RGB-Event, RGB-Polarization, and RGB-Light Field. Our model achieve state-of-the-art (SOTA) results on eight public datasets, including MFNet, KITTI-360, DELIVER, DDD17, DSEC, MCubeS, ZJU, and UrbanLF. The codes and trained models will be released upon acceptance.