Multimodal LLMs under Pairwise Modalities
作者: Yan Li, Yunlong Deng, Yuewen Sun, Gongxu Luo, Kun Zhang, Guangyi Chen
分类: cs.CV, cs.LG
发布日期: 2026-05-20
💡 一句话要点
提出基于模态对的多模态大语言模型训练框架，提升跨模态性能
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 大语言模型 模态对齐 对比学习 表征学习 跨模态生成 3D点云 触觉感知
📋 核心要点
- 现有MLLM训练依赖联合标注的多模态数据，成本高昂且难以扩展到新领域。
- 提出一种仅利用模态对数据训练MLLM的框架，通过潜在表征对齐和跨模态重组实现。
- 实验表明，该方法在添加3D点云和触觉模态时，能有效提升跨模态性能。
📝 摘要（中文）
本文研究了仅利用模态对数据训练多模态大语言模型（MLLM）的方法，以替代需要大量人工标注的多路对齐多模态数据。首先，从理论上分析了仅观察模态对时表征可识别的条件。在此基础上，提出了一个表征学习框架，用于仅使用模态对数据对齐跨模态的潜在表征。该框架包括两个阶段：潜在表征对齐和跨模态重组。第一阶段，通过自模态重构和模态对对比学习来学习跨模态的共享潜在空间。在对比学习过程中，还通过部分对齐和最小潜在规范引入了归纳偏置。第二阶段，将新引入模态的编码器与预训练模态的解码器集成，以促进跨模态迁移和生成。通过将3D点云和触觉模态添加到预训练的MLLM中，并使用三个模态对进行评估，结果表明，通过学习对齐的潜在表征空间，该模型实现了强大的跨模态性能。
🔬 方法详解
问题定义：现有的多模态大语言模型（MLLM）训练通常需要精心策划的多路对齐多模态数据集，这需要大量的人工标注工作，限制了模型在不同领域的扩展能力。因此，如何利用更容易获取的模态对数据来训练MLLM，使其能够理解和生成多种模态的信息，是一个重要的研究问题。
核心思路：本文的核心思路是，通过学习一个共享的潜在表征空间，将不同的模态对数据对齐，从而使模型能够理解和生成多种模态的信息。具体来说，模型首先通过自模态重构和模态对对比学习来学习每个模态的潜在表征，然后通过对比学习将这些潜在表征对齐到一个共享的潜在空间中。这样，模型就可以利用这个共享的潜在空间来理解和生成多种模态的信息。
技术框架：该框架包含两个主要阶段：潜在表征对齐和跨模态重组。在潜在表征对齐阶段，模型首先使用自模态重构损失来学习每个模态的潜在表征。然后，模型使用模态对对比学习损失来将这些潜在表征对齐到一个共享的潜在空间中。在跨模态重组阶段，模型将新引入模态的编码器与预训练模态的解码器集成，以促进跨模态迁移和生成。
关键创新：该方法最重要的创新点在于，它提出了一种仅利用模态对数据来训练MLLM的框架。与现有的方法相比，该方法不需要多路对齐的多模态数据集，因此可以更容易地扩展到新的领域。此外，该方法还通过部分对齐和最小潜在规范引入了归纳偏置，从而提高了模型的性能。
关键设计：在对比学习过程中，作者采用了部分对齐和最小潜在规范。部分对齐是指只对齐潜在空间的部分维度，而不是全部维度，这可以减少对比学习的难度。最小潜在规范是指对潜在空间的维度进行约束，使其尽可能的小，这可以防止模型过拟合。此外，作者还设计了一个跨模态重组模块，用于将新引入模态的编码器与预训练模态的解码器集成，从而促进跨模态迁移和生成。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在将3D点云和触觉模态添加到预训练的MLLM中时，能够显著提高跨模态性能。具体来说，通过学习对齐的潜在表征空间，该模型在多个跨模态任务上取得了优于现有方法的性能，证明了该方法的有效性。
🎯 应用场景
该研究成果可应用于机器人、自动驾驶、虚拟现实等领域。例如，机器人可以利用视觉和触觉信息进行更精确的操作；自动驾驶系统可以融合视觉和激光雷达数据以提高环境感知能力；虚拟现实应用可以结合视觉、听觉和触觉反馈，提供更沉浸式的体验。该方法降低了多模态模型训练的数据需求，有望加速多模态AI技术在各行业的落地。
📄 摘要（原文）
Despite the impressive results achieved by multimodal large language models (MLLMs), their training typically relies on jointly curated multimodal data, requiring substantial human effort to construct multi-way aligned datasets and thereby limiting scalability across domains. In this work, we explore training MLLMs by only leveraging multiple paired modalities as a surrogate for the full joint multimodal distribution. Specifically, we first provide a theoretical analysis of the conditions under which the representations are identifiable with only observing pairwise modalities. Building on this analysis, we propose a representation learning framework for aligning latent representations across modalities using only pairwise data. The framework consists of two stages: latent representation alignment and cross-modal recomposition. Specifically, in the first stage, we learn the shared latent space across modalities by both self-modal reconstruction and pair-wise contrastive learning. We also incorporate an inductive bias in the contrastive learning process by partially aligning and minimal latent specification. In stage two, we integrate the encoder of newly introduced modalities with the decoders of the pre-trained modalities to facilitate cross-modal transfer and generation. We evaluate our method by newly adding 3D point clouds and tactile modalities into pre-trained MLLMs with three modality pairs and show that, by learning an aligned latent representation space, our model achieves strong cross-modal performance.