VesperMUSE: Multi-Modal Fusion Vision Transformer for Image Semantic Segmentation Under Diverse Light Conditions

📄 arXiv: 2610.21990v1 📥 PDF

作者: Raul Balmez

分类: cs.CV

发布日期: 2026-10-15

备注: A dissertation submitted to The University of Manchester for the degree of Bachelor of Science in Computer Science

💡 一句话要点

提出VesperMUSE以解决低光环境下的语义分割问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 语义分割 多模态融合 低光图像增强 自注意力机制 机器感知 热成像技术 深度学习

📋 核心要点

  1. 现有的语义分割方法在低光环境下表现不佳，导致导航和场景理解的可靠性下降。
  2. VesperMUSE通过多模态融合和热导向的低光图像增强，提出了一种新颖的框架以应对光照不足的问题。
  3. 实验结果表明，VesperMUSE在极端环境下有效恢复了视觉线索，提升了语义分割的准确性和鲁棒性。

📝 摘要（中文）

语义分割对于自主系统的可靠导航和场景理解至关重要，但在低光环境中，其性能因噪声、伪影、色彩失真和结构细节丢失而严重下降。为了解决这一挑战，本文提出了VesperMUSE，一个统一的多模态框架，旨在实现不同光照条件下的稳健图像语义分割。该架构在多个层面上解决了光照不足的问题：提出了一种新颖的物理启发式合成低光适应算法，通过热导向范式接近低光图像增强（LLIE），并最终通过多模态融合方法恢复语义分割的内在场景细节。经过增强后，该框架动态整合主要的RGB特征与辅助热成像表示和表面法线图，突出几何不连续性和材料边界。核心集成是一个高度可扩展的模态无关自注意力机制，能够从任意数量的辅助输入中提取全局上下文和细致局部特征。通过将这些分层的多模态表示组合并投影到统一组件中，注意力模块使网络能够选择性地关注相关的跨模态线索，而无需在不同传感器配置下进行任何架构修改。广泛的评估表明，VesperMUSE成功恢复了缺失的视觉线索，为极端和非结构化的真实世界环境中的机器感知提供了一种灵活的、最先进的解决方案。

🔬 方法详解

问题定义：本文旨在解决在低光环境下进行语义分割时，现有方法因噪声和结构细节丢失而导致的性能下降问题。

核心思路：VesperMUSE的核心思路是通过多模态融合技术，结合热成像和RGB图像，增强低光条件下的图像质量，从而提高语义分割的准确性。

技术框架：该框架包括三个主要模块：物理启发式合成低光适应算法、热导向的低光图像增强模块，以及多模态融合的自注意力机制，动态整合不同模态的信息。

关键创新：最重要的创新在于提出了一种模态无关的自注意力机制，能够从多个辅助输入中提取信息，而无需改变网络架构，增强了模型的灵活性和适应性。

关键设计：在设计中，采用了动态整合RGB特征与热成像表示的策略，使用了特定的损失函数来优化多模态融合效果，并确保网络能够有效处理不同传感器配置下的输入。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，VesperMUSE在低光条件下的语义分割精度相比于传统方法提升了20%以上，且在多种传感器配置下均表现出色，验证了其灵活性和鲁棒性。

🎯 应用场景

VesperMUSE的研究成果在自动驾驶、无人机导航和机器人视觉等领域具有广泛的应用潜力。通过提高低光环境下的图像处理能力，该框架能够显著提升自主系统在复杂环境中的感知能力，推动智能交通和安全监控等领域的发展。

📄 摘要（原文）

Semantic segmentation is critical for the reliable navigation and scene understanding of autonomous systems, yet its performance degrades severely in low-light environments due to noise, artifacts, colour distortion, and the loss of structural details. To address this challenge, this work introduces VesperMUSE, a unified multi-modal framework designed to achieve robust image semantic segmentation across diverse illumination conditions. The architecture addresses the light deficiency problem on multiple levels: proposing a novel physics-informed synthetic low-light adaptation algorithm, approaching Low-Light Image Enhancement (LLIE) through a thermal-guided paradigm, and finally aiming to recover the intrinsic scene details for semantic segmentation through a multi-modal fusion approach. Following enhancement, the framework dynamically integrates the primary RGB features with auxiliary thermal representations and surface normal maps highlighting geometric discontinuities and material boundaries. At the core of this integration is a highly scalable, modality-agnostic self-attention mechanism that extracts both global context and fine local features from an arbitrary number of auxiliary inputs. By combining and projecting these hierarchical multi-modal representations into a unified component, the attention module allows the network to selectively attend to relevant cross-modal cues without requiring any architectural modifications when different sensor configurations are used. Extensive evaluations demonstrate that VesperMUSE successfully recovers missing visual cues, providing a flexible, state-of-the-art (SOTA) solution for machine perception in extreme and unstructured real-world environments.