Query-Conditioned Spherical Centroid Aggregation for Multimodal Retrieval

📄 arXiv: 2609.15335v1 📥 PDF

作者: Ambuj Mehrish, Anindya Nag, Sebastiano Vascon

分类: cs.CV

发布日期: 2026-09-14

💡 一句话要点

提出SCALAR以解决多模态检索中的均匀影响问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态检索 球形质心聚合 模态加权 查询条件 性能提升

📋 核心要点

  1. 现有的几何聚合方法对多模态的处理过于对称，导致联合评分不如单一模态。
  2. 提出的SCALAR方法通过为每种模态分配相关性权重，解决了均匀影响的问题。
  3. 实验显示SCALAR在四个基准测试中实现了正向聚合增益，且参数量仅为480万。

📝 摘要（中文）

多模态检索整合了视频、音频、字幕和文本等多种信息，但现有几何聚合方法如Gramian体积和超曲面体积对所有模态的处理过于对称，导致其联合评分常常不及单一模态。为了解决这一问题，本文提出了基于查询条件的球形质心聚合方法SCALAR，该方法为每种模态分配基于相关性的权重，从而在计算球形质心时考虑模态的重要性。实验结果表明，SCALAR在多个基准测试中表现优异，尤其在文本到视频的检索中取得了显著的提升。

🔬 方法详解

问题定义：本文旨在解决多模态检索中现有几何聚合方法对模态的均匀处理导致的性能不足问题。现有方法在联合评分上常常不及单一模态，影响了多模态检索的效果。

核心思路：SCALAR方法的核心思想是根据查询条件为每种模态分配不同的权重，从而在计算球形质心时考虑模态的重要性。这种设计允许模型根据具体查询动态调整模态的影响力。

技术框架：SCALAR的整体架构包括查询条件的输入、模态权重的学习、球形质心的计算等主要模块。模型使用了掩码和减少的视图进行训练，并采用了rank-8 LoRA适配器。

关键创新：SCALAR的主要创新在于引入了查询条件的模态加权机制，这与现有方法的对称处理方式形成了鲜明对比。通过这种方式，SCALAR能够更有效地利用不同模态的信息。

关键设计：SCALAR的设计中，使用了480万可训练参数，采用了特定的损失函数来优化模态权重的学习，同时在训练过程中引入了掩码策略，以增强模型的泛化能力。实验中还进行了均匀权重的消融实验，验证了对称聚合的性能下降。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

SCALAR在五个基准测试中表现出色，其中在四个测试中实现了正向聚合增益，最高提升达4.0 R@1。与之前的聚合方法相比，SCALAR在文本到视频的检索中取得了最佳结果，并在测试时模态丢失情况下的表现超越了GRAM检查点，提升幅度为3.2到10.9 R@1。

🎯 应用场景

该研究的潜在应用场景包括视频检索、音频分析和多模态信息检索等领域。通过优化多模态数据的聚合方式，SCALAR能够提升检索系统的准确性和效率，具有重要的实际价值。未来，该方法还可以扩展到更复杂的多模态任务中，如跨媒体内容推荐和智能助手等。

📄 摘要（原文）

Multimodal retrieval integrates video, audio, subtitles, and text; however, recent geometric aggregators, such as Gramian volumes, hyperbolic volumes, and spectral objectives, treat all modalities symmetrically. Under a unified evaluation protocol, their joint scores frequently lag behind the strongest single-modality pathway by 1.9 to 27.6 R@1. Controlled analyses attribute this outcome to uniform modality influence. This work introduces Spherical Centroid Aggregation with Learned Adaptive Relevance (SCALAR), a query-conditioned aggregator that assigns relevance-based weights to each available modality before computing a spherical centroid. SCALAR accommodates arbitrary modality subsets and is trained on masked, reduced-arity views using rank-8 LoRA adapters. Across five benchmarks, SCALAR achieves positive aggregation gain on four, reaching +4.0 R@1, while none of the evaluated prior aggregators is positive on more than one. A uniform-weight ablation reproduces the degradation observed with symmetric aggregation. With only 4.8 million trainable parameters, SCALAR attains the highest text-to-video R@1 on three and performs within seed variation of the best result on a fourth. Under test-time modality dropout, SCALAR's representation-stage score surpasses the released GRAM checkpoint at every evaluated masking rate and benchmark by 3.2 to 10.9 R@1. Finally, as modalities are removed, rerankers trained exclusively on complete modality sets increasingly converge toward their video-only pathways, diminishing these representation-level gains and underscoring a limitation of standard two-stage retrieval pipelines.