X-Fusion: Introducing New Modality to Frozen Large Language Models

📄 arXiv: 2504.20996v1 📥 PDF

作者: Sicheng Mo, Thao Nguyen, Xun Huang, Siddharth Srinivasan Iyer, Yijun Li, Yuchen Liu, Abhishek Tandon, Eli Shechtman, Krishna Kumar Singh, Yong Jae Lee, Bolei Zhou, Yuheng Li

分类: cs.CV

发布日期: 2025-04-29

备注: Project Page: https://sichengmo.github.io/XFusion/

💡 一句话要点

X-Fusion：为冻结的大语言模型引入新模态，提升多模态任务性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 大语言模型 视觉语言模型 图像描述 文本生成图像 特征融合 冻结训练

📋 核心要点

  1. 现有方法难以在扩展LLM多模态能力的同时，保持其原有的语言能力，存在性能瓶颈。
  2. X-Fusion通过双塔结构和模态特定权重，在冻结LLM参数的同时，有效融合视觉信息。
  3. 实验证明，X-Fusion在图像到文本和文本到图像任务上表现优异，并揭示了数据质量和特征对齐的重要性。

📝 摘要（中文）

本文提出了X-Fusion框架，旨在扩展预训练的大语言模型（LLM）以适应多模态任务，同时保留其原有的语言能力。X-Fusion采用双塔结构，并为不同模态设置特定的权重。该框架冻结LLM的参数，同时集成视觉特定信息，用于理解和生成任务。实验结果表明，X-Fusion在图像到文本和文本到图像任务上始终优于其他架构。研究发现，融入侧重于理解的数据可以提高生成质量，减少图像数据噪声可以提升整体性能，特征对齐可以加速小型模型的收敛，但对大型模型的影响很小。这些发现为构建高效的统一多模态模型提供了有价值的见解。

🔬 方法详解

问题定义：现有的大语言模型（LLM）在处理多模态任务时，通常需要对整个模型进行微调，这不仅计算成本高昂，而且容易破坏LLM原有的语言能力。因此，如何在不改变LLM参数的前提下，有效地融入其他模态的信息，成为了一个重要的研究问题。

核心思路：X-Fusion的核心思路是采用双塔结构，其中一个塔是冻结的LLM，负责处理文本信息；另一个塔是模态特定的编码器（例如视觉编码器），负责提取其他模态的信息。通过一个融合模块，将两种模态的信息进行融合，从而实现多模态任务的处理。这种设计保证了LLM的语言能力不会受到影响，同时能够有效地利用其他模态的信息。

技术框架：X-Fusion的整体架构包含以下几个主要模块：1) 冻结的LLM：负责处理文本输入，并生成文本表示。2) 模态特定编码器：负责提取其他模态（例如图像）的特征表示。3) 融合模块：将LLM的文本表示和模态特定特征进行融合，生成多模态表示。4) 任务特定解码器：根据多模态表示，完成特定的任务，例如图像描述生成或文本生成图像。整个流程是，首先将文本输入LLM，图像输入视觉编码器，然后将二者的输出通过融合模块进行融合，最后通过解码器完成任务。

关键创新：X-Fusion的关键创新在于其双塔结构和模态特定权重的设计。通过冻结LLM的参数，避免了对LLM语言能力的破坏。同时，为不同模态设置特定的权重，使得模型能够更好地适应不同模态的信息。此外，该框架还探索了不同数据质量和特征对齐方法对模型性能的影响。

关键设计：X-Fusion的关键设计包括：1) 融合模块的具体实现方式，例如使用注意力机制或简单的线性变换。2) 模态特定编码器的选择，例如使用预训练的视觉Transformer或CNN。3) 损失函数的设计，例如使用交叉熵损失或对比学习损失。4) 特征对齐策略，例如使用余弦相似度损失或KL散度损失。论文还研究了不同大小的LLM对模型性能的影响，并发现特征对齐对小型模型的收敛有加速作用，但对大型模型的影响不大。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，X-Fusion在图像到文本和文本到图像任务上始终优于其他架构。具体来说，融入侧重于理解的数据可以提高生成质量，减少图像数据噪声可以提升整体性能。特征对齐可以加速小型模型的收敛，但对大型模型的影响很小。这些发现为构建高效的统一多模态模型提供了有价值的见解。

🎯 应用场景

X-Fusion具有广泛的应用前景，例如图像描述生成、视觉问答、文本生成图像等。该研究可以应用于智能客服、内容创作、教育娱乐等领域，提升人机交互的智能化水平。未来，X-Fusion可以扩展到更多模态，例如音频、视频等，实现更全面的多模态理解和生成。

📄 摘要（原文）

We propose X-Fusion, a framework that extends pretrained Large Language Models (LLMs) for multimodal tasks while preserving their language capabilities. X-Fusion employs a dual-tower design with modality-specific weights, keeping the LLM's parameters frozen while integrating vision-specific information for both understanding and generation. Our experiments demonstrate that X-Fusion consistently outperforms alternative architectures on both image-to-text and text-to-image tasks. We find that incorporating understanding-focused data improves generation quality, reducing image data noise enhances overall performance, and feature alignment accelerates convergence for smaller models but has minimal impact on larger ones. Our findings provide valuable insights into building efficient unified multimodal models.