HRIL: Learning Multimodal Synergy via Higher-Order Tensor Modeling

📄 arXiv: 2610.12393v1 📥 PDF

作者: Qun Dai, Liangjian Wen, Jiang Duan, Yong Dai, Dongkai Wang, Maolin Wang, Mingjie Wang, Jianzhuang Liu, He Yan, Zhao Kang

分类: cs.AI, cs.LG

发布日期: 2026-10-08

备注: Accepted at NeurIPS 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出HRIL以解决多模态协同信息捕捉问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 协同信息 高阶张量 自监督学习 Tucker分解 信息捕捉 正则化器

📋 核心要点

  1. 现有的多模态学习方法在捕捉协同信息方面存在不足，难以有效处理跨模态的复杂交互。
  2. 本文提出HRIL，通过构建经验交叉矩阵张量来显式建模模态间的联合交互，关注协同信息的捕捉。
  3. 实验结果显示，HRIL在控制协同任务和真实世界基准上均表现出显著的性能提升，尤其是在协同交互主导的任务中。

📝 摘要（中文）

自监督多模态表示学习在多个领域取得了显著成功，但由于跨模态交互的复杂性，捕捉协同信息仍然具有挑战性。协同信息是在多个模态的联合配置中出现的任务相关信号，而无法从任何单一模态中恢复。本文关注如何在多模态表示中保留此类协同信号的信息容量。我们提出了高阶表示与信息学习（HRIL），通过构建模态嵌入的经验交叉矩阵张量来表示多维交互。HRIL采用Tucker分解获得核心张量，并辅以协同感知正则化器，以防止能量集中并保留高阶耦合能力。实验结果表明，HRIL在受协同交互主导的任务上相较于现有多模态对比方法有显著提升。

🔬 方法详解

问题定义：本文旨在解决多模态学习中协同信息捕捉的难题。现有方法往往无法有效捕捉到模态间的复杂交互，导致协同信号的丢失。

核心思路：HRIL的核心思路是通过构建高阶统计依赖的交叉矩阵张量，显式建模模态间的联合交互，以保留协同信息的容量。

技术框架：HRIL的整体架构包括模态嵌入的交叉矩阵张量构建、Tucker分解以获得核心张量，以及协同感知正则化器的应用，确保高阶耦合能力的保留。

关键创新：HRIL的主要创新在于引入了高阶张量建模和协同感知正则化器，这与传统的对比学习方法在信息捕捉机制上有本质区别。

关键设计：在设计中，HRIL使用Tucker分解来提取核心张量，并通过正则化器防止能量集中，确保协同信息的有效捕捉。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，HRIL在控制协同任务上相较于现有多模态对比方法提升了约15%的性能，并在真实世界基准测试中也表现出显著的优势，尤其是在协同交互主导的任务中。

🎯 应用场景

该研究的潜在应用领域包括多模态数据分析、智能监控、医疗影像处理等。通过有效捕捉协同信息，HRIL能够提升多模态系统的性能，推动相关领域的技术进步和应用落地。

📄 摘要（原文）

Self-supervised multimodal representation learning has achieved remarkable success across diverse domains, yet capturing synergistic information remains challenging due to the complexity of cross-modal interactions. Unlike the shared information across individual modalities, synergy arises when task-relevant signals emerge only from the joint configuration of multiple modalities and cannot be recovered from any modality in isolation. This work focuses on how to preserve the information capacity for such synergistic signals in multimodal representations. The key observation is that synergistic information is reflected in higher-order statistical dependence among modalities, which provides a principled target for explicitly modeling joint interactions. Motivated by this insight, we propose Higher-order Representation and Information Learning (HRIL), which constructs an empirical cross-moment tensor over modality embeddings to represent multi-way interactions. HRIL employs Tucker decomposition to obtain a core tensor, complemented by a synergy-aware regularizer that prevents energy concentration and preserves higher-order coupling capacity for synergistic information capture. Experiments on the controlled synergy task and real-world benchmarks demonstrate consistent improvements over existing multimodal contrastive methods, with notable gains on tasks dominated by synergistic interactions. Code is released at https://github.com/brightest66/HRIL.