Chameleon: Mixed-Modal Early-Fusion Foundation Models

📄 arXiv: 2405.09818v2 📥 PDF

作者: Chameleon Team

分类: cs.CL

发布日期: 2024-05-16 (更新: 2025-03-21)

💡 一句话要点

Chameleon：一种混合模态早期融合的通用基础模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 早期融合 Transformer模型 图像描述 文本生成 混合模态生成 视觉问答

📋 核心要点

  1. 现有模型在处理混合模态数据时，通常需要复杂的模态对齐和转换，效率较低且难以泛化。
  2. Chameleon 采用早期融合策略，将图像和文本转换为统一的 token 序列，从而实现跨模态的无缝交互。
  3. 实验表明，Chameleon 在图像描述、文本生成和混合模态生成任务中表现出色，甚至超越了更大的模型。

📝 摘要（中文）

Chameleon 是一系列基于 token 的早期融合混合模态模型，能够理解和生成任意序列中的图像和文本。论文提出了一种稳定的从头开始训练方法、一种对齐方案以及一种为早期融合、基于 token 的混合模态设置量身定制的架构参数化方法。该模型在一系列全面的任务上进行了评估，包括视觉问答、图像描述、文本生成、图像生成和长文本混合模态生成。Chameleon 展示了广泛而通用的能力，包括在图像描述任务中达到最先进的性能，在纯文本任务中优于 Llama-2，同时与 Mixtral 8x7B 和 Gemini-Pro 等模型具有竞争力，并且在单个模型中执行重要的图像生成。根据对新的长文本混合模态生成评估的人工判断，它也匹配或超过了更大的模型（包括 Gemini Pro 和 GPT-4V）的性能，其中提示或输出包含图像和文本的混合序列。Chameleon 标志着在统一建模完整多模态文档方面向前迈出了重要一步。

🔬 方法详解

问题定义：现有的大部分多模态模型通常采用 late-fusion 的方式，即分别处理不同模态的信息，然后在后期进行融合。这种方式需要复杂的模态对齐机制，并且难以捕捉模态间的细粒度交互。此外，如何构建一个能够同时理解和生成图像和文本的统一模型仍然是一个挑战。

核心思路：Chameleon 的核心思路是采用 early-fusion 的方式，将图像和文本都转换为统一的 token 序列，然后输入到 Transformer 模型中进行处理。通过这种方式，模型可以在早期就学习到模态间的关联，从而更好地理解和生成混合模态数据。这种设计简化了模型结构，并提高了模型的泛化能力。

技术框架：Chameleon 的整体架构基于 Transformer 模型。首先，图像通过视觉编码器（例如 ViT）转换为图像 token，文本通过文本编码器（例如 SentencePiece）转换为文本 token。然后，将图像 token 和文本 token 拼接在一起，输入到 Transformer 模型中进行处理。Transformer 模型的输出可以用于各种任务，例如图像描述、文本生成和混合模态生成。

关键创新：Chameleon 最重要的技术创新点在于其 early-fusion 的策略，以及针对混合模态数据设计的训练方法。通过将图像和文本转换为统一的 token 序列，模型可以更好地学习到模态间的关联，从而提高模型的性能。此外，论文还提出了一种稳定的训练方法和一种对齐方案，以确保模型的训练效果。

关键设计：Chameleon 的关键设计包括：1) 使用 ViT 作为视觉编码器，将图像转换为图像 token；2) 使用 SentencePiece 作为文本编码器，将文本转换为文本 token；3) 采用 Transformer 模型作为核心处理模块；4) 设计了一种稳定的训练方法，包括 warm-up 策略和梯度裁剪；5) 提出了一种对齐方案，以确保图像 token 和文本 token 在语义空间中对齐。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Chameleon 在图像描述任务中取得了最先进的性能，在文本生成任务中优于 Llama-2，并且在混合模态生成任务中与 Gemini Pro 和 GPT-4V 等大型模型具有竞争力。在长文本混合模态生成评估中，Chameleon 甚至匹配或超过了 Gemini Pro 和 GPT-4V 的性能，展示了其强大的多模态理解和生成能力。

🎯 应用场景

Chameleon 在多模态内容创作、智能助手、教育和娱乐等领域具有广泛的应用前景。例如，它可以用于自动生成图文并茂的文章、创建个性化的多模态对话机器人、辅助教学内容的生成和呈现，以及开发更具沉浸感和互动性的娱乐体验。该研究为构建更通用、更智能的多模态人工智能系统奠定了基础。

📄 摘要（原文）

We present Chameleon, a family of early-fusion token-based mixed-modal models capable of understanding and generating images and text in any arbitrary sequence. We outline a stable training approach from inception, an alignment recipe, and an architectural parameterization tailored for the early-fusion, token-based, mixed-modal setting. The models are evaluated on a comprehensive range of tasks, including visual question answering, image captioning, text generation, image generation, and long-form mixed modal generation. Chameleon demonstrates broad and general capabilities, including state-of-the-art performance in image captioning tasks, outperforms Llama-2 in text-only tasks while being competitive with models such as Mixtral 8x7B and Gemini-Pro, and performs non-trivial image generation, all in a single model. It also matches or exceeds the performance of much larger models, including Gemini Pro and GPT-4V, according to human judgments on a new long-form mixed-modal generation evaluation, where either the prompt or outputs contain mixed sequences of both images and text. Chameleon marks a significant step forward in a unified modeling of full multimodal documents.