CARL: Camera-Agnostic Representation Learning for Spectral Image Analysis

📄 arXiv: 2504.19223v3 📥 PDF

作者: Alexander Baumann, Leonardo Ayala, Silvia Seidlitz, Jan Sellner, Alexander Studier-Fischer, Berkin Özdemir, Lena Maier-Hein, Slobodan Ilic

分类: cs.CV, cs.AI, cs.LG

发布日期: 2025-04-27 (更新: 2025-09-26)

💡 一句话要点

提出CARL，实现相机无关的光谱图像表征学习，提升跨相机泛化性。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 光谱图像分析 相机无关表征学习 自注意力机制 交叉注意力机制 自监督学习

📋 核心要点

  1. 现有光谱图像分析方法受限于相机差异，模型泛化性差，难以跨相机应用。
  2. CARL通过自注意力-交叉注意力机制的光谱编码器，学习相机无关的光谱表征。
  3. CARL采用特征级自监督预训练，并在多个领域数据集上验证了其鲁棒性和优越性。

📝 摘要（中文）

光谱成像在医学、城市场景理解等领域具有广阔的应用前景，并且已在遥感领域成为关键技术。然而，不同光谱相机在通道维度和捕获波长上的差异阻碍了AI驱动方法的发展，导致模型特定于相机，泛化能力有限，且缺乏跨相机适用性。为了解决这一瓶颈，我们提出了CARL，一个用于RGB、多光谱和高光谱成像模式的相机无关表征学习模型。为了将任意通道维度的光谱图像转换为相机无关的表征，我们引入了一种新颖的光谱编码器，该编码器具有自注意力-交叉注意力机制，可以将显著的光谱信息提炼成学习到的光谱表征。通过一种为CARL量身定制的基于特征的自监督策略，实现了时空-光谱预训练。在医学成像、自动驾驶和卫星成像领域的大规模实验表明，我们的模型对光谱异质性具有独特的鲁棒性，在具有模拟和真实世界跨相机光谱变化的数据集上表现优异。所提出方法的可扩展性和通用性使我们的模型成为未来光谱基础模型的骨干。

🔬 方法详解

问题定义：现有光谱图像分析方法通常针对特定相机进行训练，导致模型在面对不同光谱相机捕获的数据时，性能显著下降。光谱相机在通道数量和捕获波长范围上存在差异，使得模型难以泛化到新的相机设备或数据集。这种相机依赖性限制了光谱成像技术在更广泛领域的应用。

核心思路：CARL的核心思路是学习一种相机无关的光谱表征，将不同相机捕获的光谱图像映射到一个统一的特征空间。通过这种方式，模型可以忽略相机差异，专注于图像中蕴含的本质光谱信息。这种方法旨在提高模型在不同相机和数据集上的泛化能力。

技术框架：CARL包含一个光谱编码器和一个可选的下游任务模块。光谱编码器是CARL的核心组件，它接收任意通道维度的光谱图像作为输入，并输出相机无关的光谱表征。该编码器采用自注意力-交叉注意力机制，用于提取图像中的光谱信息。为了提高模型的泛化能力，CARL还采用了基于特征的自监督预训练策略。

关键创新：CARL的关键创新在于其相机无关的光谱表征学习方法。通过自注意力-交叉注意力机制的光谱编码器，CARL能够有效地提取图像中的光谱信息，并忽略相机差异。此外，基于特征的自监督预训练策略进一步提高了模型的泛化能力。与现有方法相比，CARL能够更好地处理不同相机捕获的光谱图像，并在跨相机场景下表现出更强的鲁棒性。

关键设计：光谱编码器采用自注意力机制来捕捉图像中不同光谱通道之间的关系，并使用交叉注意力机制来融合来自不同相机的光谱信息。自监督预训练采用特征级的对比学习方法，鼓励模型学习到对相机差异不敏感的特征表示。损失函数包括对比损失和重建损失，用于优化模型的参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CARL在医学成像、自动驾驶和卫星成像等多个领域的数据集上进行了评估，并在具有模拟和真实世界跨相机光谱变化的数据集上取得了显著的性能提升。例如，在医学成像数据集上，CARL的性能优于现有方法，并在跨相机场景下表现出更强的鲁棒性。实验结果表明，CARL能够有效地学习相机无关的光谱表征，并提高模型在不同相机和数据集上的泛化能力。

🎯 应用场景

CARL具有广泛的应用前景，包括医学图像分析（如肿瘤检测和诊断）、自动驾驶（如交通标志识别和行人检测）和卫星图像分析（如土地覆盖分类和环境监测）。通过学习相机无关的光谱表征，CARL可以提高这些应用在不同相机和数据集上的性能，并降低模型部署的成本。未来，CARL有望成为光谱基础模型，为各种光谱图像分析任务提供强大的支持。

📄 摘要（原文）

Spectral imaging offers promising applications across diverse domains, including medicine and urban scene understanding, and is already established as a critical modality in remote sensing. However, variability in channel dimensionality and captured wavelengths among spectral cameras impede the development of AI-driven methodologies, leading to camera-specific models with limited generalizability and inadequate cross-camera applicability. To address this bottleneck, we introduce CARL, a model for Camera-Agnostic Representation Learning across RGB, multispectral, and hyperspectral imaging modalities. To enable the conversion of a spectral image with any channel dimensionality to a camera-agnostic representation, we introduce a novel spectral encoder, featuring a self-attention-cross-attention mechanism, to distill salient spectral information into learned spectral representations. Spatio-spectral pre-training is achieved with a novel feature-based self-supervision strategy tailored to CARL. Large-scale experiments across the domains of medical imaging, autonomous driving, and satellite imaging demonstrate our model's unique robustness to spectral heterogeneity, outperforming on datasets with simulated and real-world cross-camera spectral variations. The scalability and versatility of the proposed approach position our model as a backbone for future spectral foundation models.