Domain-specific language alignment of multimodal embeddings towards explainable predictions
作者: Gabrielė Tijūnaitytė, Thijs L. van der Plas, Mohamed-Bachir Belaid, Rob Knapen, Maciej J. Soja, Ioannis N. Athanasiadis
分类: cs.LG, cs.CV
发布日期: 2026-10-16
💡 一句话要点
提出多模态嵌入的领域特定语言对齐框架以实现可解释预测
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态嵌入 可解释性 视觉-语言对齐 生态建模 辅助数据 软对比损失 概念检索
📋 核心要点
- 现有的多模态嵌入方法缺乏可解释性，限制了其在需要透明决策的领域中的应用。
- 本文提出了一种新的框架，通过将嵌入空间与可解释的辅助数据进行语言对齐，解决了这一问题。
- 实验结果显示，AlphaEarth嵌入在多个指标上优于现有模型，并成功实现了领域特定概念的对齐。
📝 摘要（中文）
多模态数据通常被融合为潜在表示，以提高下游任务的性能，但缺乏可解释性，限制了其在需要可解释模型决策的领域中的应用。尽管视觉-语言对齐通过语言使图像嵌入可解释，但需要大量的图像-标题训练数据，而这些数据通常无法直接从嵌入中观察和标注。本文提出了一种框架，通过将任何嵌入空间与可解释的辅助数据对齐，实现语言对齐。该框架在多模态地球嵌入上应用，促进了两种物种分布建模任务的可解释预测。实验结果表明，AlphaEarth嵌入在6/7个指标上超越了之前的最先进模型，同时在概念检索上优于以往的地球观测视觉-语言模型。
🔬 方法详解
问题定义：本文旨在解决多模态嵌入缺乏可解释性的问题，现有方法依赖大量图像-标题数据，而这些数据通常不可用。
核心思路：提出了一种框架，通过将嵌入空间与可解释的辅助数据对齐，利用辅助数据生成部分标题，从而实现语言对齐。
技术框架：该框架包括三个主要模块：1) 标题生成函数，将辅助数据转换为部分标题；2) 软对比损失，根据每对标题描述的属性相似性加权；3) 基于排名的概念检索任务，评估对齐效果。
关键创新：最重要的创新在于通过辅助数据实现了对嵌入空间的语言对齐，克服了传统方法对大量标注数据的依赖。
关键设计：使用软对比损失函数来加权标题对，设计了基于属性相似性的评估机制，并通过排名任务来验证对齐效果。
🖼️ 关键图片
📊 实验亮点
实验结果表明，AlphaEarth嵌入在6/7个评估指标上超越了之前的最先进模型，且在概念检索任务中表现优于以往的地球观测视觉-语言模型，平均概念检索效果显著提升。
🎯 应用场景
该研究的潜在应用领域包括生态学、环境监测和生物多样性保护等。通过实现可解释的多模态预测，该框架能够帮助领域专家更好地理解模型决策，从而在实际应用中提供更可靠的支持。
📄 摘要（原文）
Multimodal data are commonly fused into latent representations that improve downstream task performance but are not interpretable, limiting their application in domains that require explainable model decisions. Vision-language alignment has made image embeddings interpretable through language, but requires vast image-caption training data. However, captioned data are typically not available for multimodal embeddings, as relevant features cannot directly be observed and annotated from embeddings alone. Here, we propose a framework to language-align any embedding space that can be linked to interpretable auxiliary data. Captioning functions convert auxiliary data into partial captions; a soft contrastive loss weights pairs by the similarity of their properties that each caption describes; and a rank-based concept retrieval task evaluates alignment against the auxiliary data rather than the captions. We apply this framework to multimodal Earth embeddings to facilitate explainable predictions for two species distribution modelling tasks: S2BMS and SatBird. AlphaEarth embeddings beat previous state-of-the-art models on 6/7 metrics, while our framework language-aligns domain-specific concepts of the embedding space, outperforming previous Earth observation vision-language models on average concept retrieval for both datasets. Finally, aligned concepts recover species-habitat associations ($ρ$=0.44) and relate habitat descriptions to species predictions, showing that abstract embeddings can be interrogated in the language of domain experts.