VITA-1.5: Towards GPT-4o Level Real-Time Vision and Speech Interaction

📄 arXiv: 2501.01957v4 📥 PDF

作者: Chaoyou Fu, Haojia Lin, Xiong Wang, Yi-Fan Zhang, Yunhang Shen, Xiaoyu Liu, Haoyu Cao, Zuwei Long, Heting Gao, Ke Li, Long Ma, Xiawu Zheng, Rongrong Ji, Xing Sun, Caifeng Shan, Ran He

分类: cs.CV, cs.SD, eess.AS

发布日期: 2025-01-03 (更新: 2025-10-24)

备注: NeurIPS 2025 Spotlight, Code 2.4K Stars: https://github.com/VITA-MLLM/VITA

🔗 代码/项目: GITHUB

💡 一句话要点

VITA-1.5：面向GPT-4o水平的实时视觉与语音交互多模态大模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大模型 视觉语音交互 端到端学习 多阶段训练 实时交互

📋 核心要点

  1. 现有多模态大模型侧重视觉和文本，忽略了语音在交互中的重要性，且视觉和语音模态差异大，实现高性能交互是挑战。
  2. 论文提出多阶段训练方法，逐步训练LLM理解视觉和语音信息，实现流畅的视觉和语音交互，无需额外的ASR和TTS模块。
  3. 实验表明，该模型在图像、视频和语音任务上均表现出色，实现了接近实时的视觉和语音交互能力。

📝 摘要（中文）

当前的多模态大型语言模型(MLLM)通常侧重于整合视觉和文本模态，而较少强调语音在增强交互中的作用。然而，语音在多模态对话系统中起着至关重要的作用，并且由于模态之间的根本差异，实现视觉和语音任务的高性能仍然是一个重大挑战。本文提出了一种精心设计的多阶段训练方法，逐步训练LLM理解视觉和语音信息，最终实现流畅的视觉和语音交互。我们的方法不仅保留了强大的视觉语言能力，而且无需单独的ASR和TTS模块即可实现高效的语音到语音对话功能，从而显著加快了多模态端到端响应速度。通过将我们的方法与图像、视频和语音任务的最新技术进行比较，我们证明了我们的模型具有强大的视觉和语音能力，从而实现了接近实时的视觉和语音交互。代码已在https://github.com/VITA-MLLM/VITA发布。

🔬 方法详解

问题定义：现有MLLM模型在处理多模态交互时，对语音模态的重视程度不足，导致在需要语音参与的交互场景中表现受限。同时，由于视觉和语音模态的差异性，如何有效地融合这两种模态的信息，并实现高效的端到端交互是一个挑战。现有方法通常依赖于独立的ASR（语音识别）和TTS（文本转语音）模块，增加了系统的复杂性和延迟。

核心思路：论文的核心思路是通过多阶段训练方法，逐步提升LLM对视觉和语音信息的理解能力，从而实现流畅的视觉和语音交互。该方法旨在构建一个统一的模型，能够直接从语音输入生成语音输出，避免使用独立的ASR和TTS模块，从而提高响应速度和效率。

技术框架：该方法采用多阶段训练框架，具体阶段细节未知，但整体目标是逐步提升模型对视觉和语音信息的理解和生成能力。框架的核心是LLM，通过精心设计的训练策略，使其能够同时处理视觉和语音输入，并生成相应的语音输出。

关键创新：该方法的主要创新在于提出了一种端到端的视觉和语音交互模型，无需依赖独立的ASR和TTS模块。通过多阶段训练，LLM能够直接从语音输入生成语音输出，从而显著提高了交互速度和效率。这种端到端的设计简化了系统架构，降低了延迟，并为实时视觉和语音交互提供了可能。

关键设计：论文中关于具体参数设置、损失函数和网络结构的细节信息未知。但可以推测，训练过程中可能使用了对比学习、生成对抗网络等技术，以提高模型对视觉和语音信息的理解和生成能力。损失函数的设计可能考虑了视觉和语音模态之间的对齐，以及生成语音的质量和流畅性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验证明，所提出的模型在图像、视频和语音任务上均表现出色，实现了接近实时的视觉和语音交互能力。具体性能数据和对比基线未知，但论文强调该模型无需独立的ASR和TTS模块即可实现高效的语音到语音对话功能，显著加快了多模态端到端响应速度。

🎯 应用场景

该研究成果可应用于智能助手、人机交互、实时翻译、远程协作等领域。例如，在智能家居场景中，用户可以通过语音与设备进行交互，并获得实时的视觉反馈。在远程协作中，可以实现实时的语音和视觉交流，提高沟通效率。该技术有望推动人机交互方式的变革，使交互更加自然、高效和智能化。

📄 摘要（原文）

Recent Multimodal Large Language Models (MLLMs) have typically focused on integrating visual and textual modalities, with less emphasis placed on the role of speech in enhancing interaction. However, speech plays a crucial role in multimodal dialogue systems, and implementing high-performance in both vision and speech tasks remains a significant challenge due to the fundamental modality differences. In this paper, we propose a carefully designed multi-stage training methodology that progressively trains LLM to understand both visual and speech information, ultimately enabling fluent vision and speech interaction. Our approach not only preserves strong vision-language capacity, but also enables efficient speech-to-speech dialogue capabilities without separate ASR and TTS modules, significantly accelerating multimodal end-to-end response speed. By comparing our method against state-of-the-art counterparts across benchmarks for image, video, and speech tasks, we demonstrate that our model is equipped with both strong visual and speech capabilities, making near real-time vision and speech interaction. Code has been released at https://github.com/VITA-MLLM/VITA.