SegRGB-X: General RGB-X Semantic Segmentation Model

📄 arXiv: 2603.28023v1 📥 PDF

作者: Jiong Liu, Yingjie Xu, Xingcheng Zhou, Rui Song, Walter Zimmer, Alois Knoll, Hu Cao

分类: cs.CV

发布日期: 2026-03-30

备注: Submitted to IEEE TITS

💡 一句话要点

提出SegRGB-X通用语义分割框架，统一多模态数据分割并达到SOTA

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 语义分割 多模态融合 CLIP模型 通用框架 深度学习

📋 核心要点

  1. 传统多模态语义分割方法针对特定模态组合设计，缺乏通用性，导致开发成本高昂且难以扩展。
  2. SegRGB-X通过模态感知CLIP、模态对齐嵌入和领域特定细化模块，实现跨多种模态的统一语义分割。
  3. 在包含事件、热、深度等模态的数据集上，SegRGB-X超越了现有方法，mIoU达到65.03%，展现了优越的性能。

📝 摘要（中文）

本文提出了一种通用的任意模态语义分割框架SegRGB-X，旨在统一多种模态的分割任务，解决因传感器特性差异导致的冗余开发问题。该框架包含三个关键创新点：(1) 模态感知CLIP (MA-CLIP)，通过LoRA微调提供模态特定的场景理解指导；(2) 模态对齐嵌入，用于捕获细粒度特征；(3) 领域特定细化模块 (DSRM)，用于动态特征调整。在五个具有不同互补模态（事件、热、深度、偏振和光场）的数据集上进行评估，该模型超越了专门的多模态方法，并实现了最先进的性能，mIoU达到65.03%。代码将在接收后发布。

🔬 方法详解

问题定义：现有的多模态语义分割方法通常是针对特定模态组合设计的，例如RGB-Depth，RGB-Thermal等。这种针对性设计导致了大量的冗余开发工作，并且难以扩展到新的模态组合。论文旨在解决这个问题，提出一个通用的框架，能够处理任意模态组合的语义分割任务。

核心思路：论文的核心思路是利用预训练的CLIP模型来提供模态感知的场景理解指导，并设计模态对齐的嵌入空间来融合不同模态的特征。此外，还引入了领域特定的细化模块来动态调整特征，以适应不同模态的特性。通过这种方式，模型能够学习到跨模态的通用表示，从而实现任意模态组合的语义分割。

技术框架：SegRGB-X框架主要包含三个模块：Modality-aware CLIP (MA-CLIP)、Modality-aligned Embeddings和Domain-specific Refinement Module (DSRM)。首先，MA-CLIP通过LoRA微调CLIP模型，使其能够理解不同模态的场景信息。然后，Modality-aligned Embeddings将不同模态的特征映射到统一的嵌入空间，实现特征融合。最后，DSRM根据输入模态的特性，动态调整融合后的特征，提高分割精度。

关键创新：论文的关键创新在于提出了一个通用的多模态语义分割框架，能够处理任意模态组合。这与以往针对特定模态组合的方法形成了鲜明对比。MA-CLIP模块利用预训练的CLIP模型，为不同模态提供了场景理解指导，这是以往方法所缺乏的。DSRM模块能够动态调整特征，适应不同模态的特性，进一步提高了分割精度。

关键设计：MA-CLIP模块使用LoRA（Low-Rank Adaptation）进行微调，降低了计算成本。Modality-aligned Embeddings使用对比学习损失来对齐不同模态的特征。DSRM模块使用注意力机制来动态调整特征权重。具体的损失函数和网络结构细节在论文中进行了详细描述（具体细节未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SegRGB-X在五个不同的多模态数据集上进行了评估，包括事件、热、深度、偏振和光场等模态。实验结果表明，SegRGB-X超越了现有的多模态语义分割方法，取得了state-of-the-art的性能，mIoU达到了65.03%。这证明了SegRGB-X框架的有效性和通用性。

🎯 应用场景

SegRGB-X框架具有广泛的应用前景，例如自动驾驶、机器人导航、医学图像分析等领域。在自动驾驶中，可以融合激光雷达、摄像头、毫米波雷达等多种传感器信息，提高环境感知能力。在机器人导航中，可以融合视觉、深度、触觉等信息，实现更鲁棒的导航。在医学图像分析中，可以融合CT、MRI等多种模态图像，提高诊断精度。该研究的通用性设计降低了多模态融合的开发成本，促进了相关技术的发展。

📄 摘要（原文）

Semantic segmentation across arbitrary sensor modalities faces significant challenges due to diverse sensor characteristics, and the traditional configurations for this task result in redundant development efforts. We address these challenges by introducing a universal arbitrary-modal semantic segmentation framework that unifies segmentation across multiple modalities. Our approach features three key innovations: (1) the Modality-aware CLIP (MA-CLIP), which provides modality-specific scene understanding guidance through LoRA fine-tuning; (2) Modality-aligned Embeddings for capturing fine-grained features; and (3) the Domain-specific Refinement Module (DSRM) for dynamic feature adjustment. Evaluated on five diverse datasets with different complementary modalities (event, thermal, depth, polarization, and light field), our model surpasses specialized multi-modal methods and achieves state-of-the-art performance with a mIoU of 65.03%. The codes will be released upon acceptance.