Hypergraph-Regularized Gramian Volumes for Multimodal Retrieval

📄 arXiv: 2609.15320v1 📥 PDF

作者: Anindya Nag, Ambuj Mehrish, Sebastiano Vascon

分类: cs.CV

发布日期: 2026-09-14

💡 一句话要点

提出超图正则化Gramian体积以提升多模态检索性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态检索 超图结构 语义关系 信息传递 视频理解 音频分析 深度学习

📋 核心要点

  1. 现有的多模态检索方法在评分时主要依赖候选局部信息，缺乏对语义关系的充分利用。
  2. 本文提出的HyVol模块通过超图结构引入语义关系，增强了模态之间的对齐和信息传递。
  3. 实验结果表明，HyVol在多个基准测试中显著提升了检索性能，尤其在视频到文本的任务中表现突出。

📝 摘要（中文）

基于体积的多模态检索通过联合评分文本查询与候选视频、音频和字幕嵌入来实现。尽管该方法捕捉了候选内部的高阶对齐，但评分仍然是候选局部的，语义相关的训练样本主要作为对比负样本。本文提出了超图正则化Gramian体积（HyVol），一个在评估原始体积损失之前引入语义关系的训练模块。文档超边连接每个候选的观察模态，而语义超边则链接那些互为前k个邻居的候选。通过浅层门控超图网络对模态嵌入进行残差修正，存在掩码排除不可用流，身份填充保持观察Gram子矩阵的行列式不变。我们在VAST-27M的15万剪辑子集上训练了两个骨干网络，并在六个基准上评估零-shot性能。HyVol在所有五个检索基准上提升了R@1，视频到文本的增益在MSR-VTT上达到+8.3，在VATEX上达到+7.6。

🔬 方法详解

问题定义：本文旨在解决现有多模态检索方法中评分局限于候选局部的问题，导致语义相关性未得到充分利用。

核心思路：HyVol模块通过超图结构引入语义关系，连接候选的不同模态和语义相似的候选，从而增强模态之间的对齐和信息传递。

技术框架：整体架构包括超图正则化模块、浅层门控超图网络和存在掩码机制。超图连接模态和语义关系，门控网络对模态嵌入进行修正。

关键创新：最重要的创新在于引入超图结构来捕捉模态之间的语义关系，区别于传统方法仅依赖局部信息。

关键设计：设计中使用了存在掩码来排除不可用流，身份填充保持Gram子矩阵的行列式不变，确保信息的完整性和有效性。实验中采用了标准的损失函数和网络结构，以保证与现有方法的兼容性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在实验中，HyVol在所有五个检索基准上均提升了R@1，视频到文本的增益在MSR-VTT上达到+8.3，在VATEX上达到+7.6。此外，在缺失模态掩码的情况下，视频到文本的边际保持正值，显示出该方法的鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括视频检索、音频分析和多模态内容推荐等。通过提升多模态检索的准确性，HyVol能够为用户提供更相关的内容推荐，进而改善用户体验。未来，该方法还可以扩展到其他多模态学习任务，如跨模态生成和理解。

📄 摘要（原文）

Volume-based multimodal retrieval jointly scores a text query with a candidate's video, audio, and subtitle embeddings. While this approach captures higher-order within-candidate alignment, the score remains candidate-local, and semantically related training samples primarily serve as contrastive negatives. This work introduces Hypergraph-Regularized Gramian Volumes (HyVol), a training-time module that incorporates these semantic relations prior to evaluating the original volume loss. Document hyperedges connect the observed modalities of each candidate, whereas semantic hyperedges link candidates whose detached captions are mutual top-k neighbors. A shallow gated hyper-graph network applies residual corrections to the modality embeddings. Presence masks exclude unavailable streams from message passing, and identity padding preserves the determinant of the observed Gram submatrix without feature imputation. As refinement operates on embeddings rather than scores, the same construction applies to both Gram and HyperGram. We remove the hypergraph after training, leaving the backbone-only architecture, original scoring function, and retrieval cost unchanged. We train both backbones on a 150K-clip subset of VAST-27M and evaluate zero-shot performance on six benchmarks. Under the paired protocol, HyVol improves R@1 across all five retrieval benchmarks, with video-to-text gains reaching +8.3 on MSR-VTT and +7.6 on VATEX. Under missing-modality masking, the V2T margin remains positive in all experimental settings, although the T2V margin becomes slightly negative in four.