JAVIS: Joint Audio-Visual Interaction and Streaming for Real-Time Conversational Agents

📄 arXiv: 2610.22499v1 📥 PDF

作者: Junseok Ahn, Jaehyun Park, Jeongsoo Choi, Joon Son Chung, Ji-Hoon Kim

分类: cs.CV, eess.AS

发布日期: 2026-10-15

备注: 5 pages, 2 figures. Project page: https://mm.kaist.ac.kr/projects/JAVIS

💡 一句话要点

提出JAVIS以解决实时对话系统中的多模态交互问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态交互 实时对话系统 音视频生成 自然语言处理 合成语料库

📋 核心要点

  1. 现有对话系统主要关注文本或语音，缺乏有效的视觉反馈，导致自然交互的不足。
  2. JAVIS通过单一表示实现语音与面部表情的同步生成，采用端到端的流框架，提升了交互的自然性。
  3. 实验结果显示，JAVIS的初始延迟比强基线低约200倍，并在唇同步和面部表情适当性上表现优越。

📝 摘要（中文）

人类交流本质上是多模态的，不仅通过语言和声音传达意图，还通过视觉信号进行沟通。然而，现有的对话系统主要集中在文本或语音上，忽略了自然交互中至关重要的视觉反馈。本文提出了JAVIS，一个端到端的实时音视频对话代理流框架。其核心思想是通过单一表示让声音和面部表情共同发声。在共享的大型语言模型上，联合精炼头生成统一的音视频表示，并输入到专门的流分支中进行语音和面部生成。该设计避免了中间瓶颈，实现了实时生成，同时保持语音和面部表情的紧密同步。此外，本文还提出了JAVIS-Syn，一个334小时的合成语料库，旨在解决富有表现力的音视频对话数据的缺乏，涵盖情感丰富的多轮对话和助手风格的交流。实验表明，JAVIS的初始延迟比强基线低约200倍，同时在唇同步和面部表情适当性方面超越了基线。

🔬 方法详解

问题定义：现有的对话系统在多模态交互中存在不足，主要集中于文本和语音，缺乏视觉信号的有效整合，导致自然交流体验不佳。

核心思路：JAVIS的核心思路是通过一个统一的表示来同时生成语音和面部表情，避免了传统方法中的中间瓶颈，从而实现实时的多模态交互。

技术框架：JAVIS的整体架构包括一个共享的大型语言模型（LLM）和一个联合精炼头，后者生成统一的音视频表示。该表示被输入到专门的流分支中，分别用于语音生成和面部表情生成。

关键创新：JAVIS的主要创新在于其端到端的设计，能够实现语音与面部表情的紧密同步，显著降低初始延迟，提升交互的自然性和流畅性。

关键设计：在设计中，采用了联合精炼头来生成音视频的统一表示，确保了信息的高效传递。同时，损失函数的设置也针对唇同步和面部表情的适当性进行了优化。实验中使用的JAVIS-Syn合成语料库为模型训练提供了丰富的多轮对话数据。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，JAVIS在初始延迟方面比强基线降低了约200倍，同时在唇同步和面部表情适当性方面的表现也优于基线，证明了其在实时多模态交互中的有效性和优势。

🎯 应用场景

JAVIS的研究成果具有广泛的应用潜力，尤其是在智能助手、虚拟客服和社交机器人等领域。通过增强多模态交互能力，JAVIS能够提供更自然、更人性化的用户体验，推动人机交互技术的发展。未来，随着技术的进一步成熟，JAVIS有望在教育、娱乐和医疗等多个领域发挥重要作用。

📄 摘要（原文）

Human communication is inherently multimodal, conveying intent not only through linguistic and vocal cues but also through visual signals. However, existing conversational systems have mainly focused on text or speech, leaving out the visual feedback that is essential for natural interaction. In this paper, we propose JAVIS, an end-to-end streaming framework for real-time audio-visual conversational agents. Our key idea is to let the voice and the face speak from a single representation. On top of a shared LLM, a Joint Refined Head produces a unified audio-visual representation, which is fed into dedicated streaming branches for speech and face generation. This end-to-end design avoids intermediate bottlenecks, enabling real-time generation while keeping speech and face tightly synchronized. In addition, we present JAVIS-Syn, a 334-hour synthetic corpus designed to address the lack of expressive audio-visual dialogue data, covering emotionally rich multi-turn conversations and assistant-style exchanges. Experiments show that JAVIS achieves approximately 200$\times$ lower initial latency than a strong baseline, while outperforming baselines in lip synchronization and facial expression appropriateness.