MUNITE: Unified Multimodal Latent Inference for Any-to-Any Multimodal Generation

📄 arXiv: 2610.09866v1 📥 PDF

作者: Kyeongmin Yeo, Minhyuk Sung

分类: cs.LG

发布日期: 2026-10-07

备注: Project page: https://munite-proj.github.io

💡 一句话要点

提出MUNITE以解决多模态生成中的推理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态生成 潜变量模型 条件流匹配 自蒸馏 生成对抗网络 一致性推理 图像文本音频

📋 核心要点

  1. 现有多模态生成方法在处理不同模态间的推理时存在灵活性不足和一致性差的问题。
  2. MUNITE通过将编码与潜变量生成视为同一推理问题，提出了一种统一的潜变量框架，支持多模态生成。
  3. 在多个数据集上，MUNITE展现出优越的生成质量和源-目标一致性，尤其在一对多和无条件生成任务中表现最佳。

📝 摘要（中文）

我们介绍了MUNITE，一个用于灵活的任何到任何多模态生成的潜变量框架，该框架将编码和潜变量生成视为在不同观察证据下的同一推理问题。MUNITE能够根据任何子集的模态建模与完整观察相关的潜在表示的条件分布。完整观察恢复确定性编码，无观察恢复潜在边际，而中间子集定义条件潜在推理，所有这些都在单一条件流模型中实现。共享的潜在样本捕捉必须在生成目标之间保持一致的变化，而特定模态的生成解码器则独立建模其余的不确定性。通过自蒸馏扩展条件流匹配，从不完整的训练示例中学习这些条件分布。MUNITE在PolyMNIST-D-Q、FFHQ64和图像-文本-音频数据集上实现了竞争或更好的生成质量和源-目标对齐，具有更高的联合生成一致性。

🔬 方法详解

问题定义：本论文旨在解决多模态生成中的推理问题，现有方法在处理不同模态间的关系时灵活性不足，导致生成结果的一致性差。

核心思路：MUNITE通过将编码和潜变量生成视为同一推理问题，利用条件流模型在不同观察证据下进行潜在表示的建模，从而实现灵活的多模态生成。

技术框架：MUNITE的整体架构包括共享潜在样本和模态特定生成解码器。共享潜在样本捕捉生成目标间的一致性，而解码器独立建模模态特有的不确定性。

关键创新：MUNITE的主要创新在于通过自蒸馏扩展条件流匹配，使得在不完整训练示例下也能有效学习条件分布，显著提升生成质量。

关键设计：论文中采用了条件流模型，设计了损失函数以支持自蒸馏过程，并在网络结构上实现了共享潜在样本与模态特定解码器的结合。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在PolyMNIST-D-Q、FFHQ64和图像-文本-音频数据集上，MUNITE的生成质量和源-目标对齐表现出色，尤其在一对多和无条件生成任务中，达到了最高的一致性，显示出其在多模态生成中的有效性。

🎯 应用场景

MUNITE的研究成果在多模态生成领域具有广泛的应用潜力，包括图像生成、文本生成和音频合成等。其灵活的推理能力可以应用于虚拟现实、智能助手以及多模态内容创作等场景，推动相关技术的发展与应用。

📄 摘要（原文）

We introduce MUNITE, a latent-variable framework for flexible any-to-any multimodal generation that treats encoding and latent generation as the same inference problem under different amounts of observed evidence. Given any subset of modalities, MUNITE models the conditional distribution over the latent representation associated with the complete observation. Full observation recovers deterministic encoding, no observation recovers the latent marginal, and intermediate subsets define conditional latent inference, all within a single conditional flow model. A shared latent sample captures variation that must remain consistent across generated targets, while modality-specific generative decoders model the remaining uncertainty independently. To learn these conditional distributions from incomplete training examples, we extend conditional flow matching through self-distillation: predictions conditioned on richer available observations supervise the same model conditioned on smaller subsets at the same intermediate latent state. When the richer-evidence trajectory follows the exact conditional flow, this provides the same expected learning signal as full-target denoising. Across PolyMNIST-D-Q, FFHQ64, and image-text-audio, MUNITE achieves competitive or better generation quality and source-target alignment, with higher joint-generation coherence. In particular, it attains the highest coherence in all one-to-many and unconditional image-text-audio comparisons, showing the effectiveness of unified latent inference across diverse multimodal settings.