Towards Human-like Multimodal Conversational Agent by Generating Engaging Speech

📄 arXiv: 2509.14627v1 📥 PDF

作者: Taesoo Kim, Yongsik Jo, Hyunmin Song, Taehwan Kim

分类: cs.HC, cs.AI, cs.CL

发布日期: 2025-09-18

备注: Published in Interspeech 2025

DOI: 10.21437/Interspeech.2025-1075

🔗 代码/项目: GITHUB

💡 一句话要点

提出一种基于多模态LLM和语音生成技术的类人对话Agent，提升语音交互的自然度和吸引力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态对话 语音生成 类人Agent 多模态LLM 情感语音 副语言信息 语音合成

📋 核心要点

  1. 现有对话Agent主要关注文本生成，忽略了语音中蕴含的情感和风格信息，导致交互不够自然。
  2. 论文提出一种多模态LLM框架，结合视觉和听觉信息，生成包含副语言信息的语音描述，从而合成更具表现力的语音。
  3. 实验结果表明，该方法能够有效利用视觉和听觉模态，生成更具吸引力的语音，提升对话Agent的类人程度。

📝 摘要（中文）

人类对话涉及语言、语音和视觉线索，每种媒介提供互补信息。例如，语音传达了一种仅靠文本无法完全捕捉到的氛围或语调。虽然多模态LLM专注于从各种输入中生成文本响应，但对生成自然且引人入胜的语音的关注较少。我们提出了一种类人Agent，它基于对话情绪和响应风格信息生成语音响应。为了实现这一目标，我们构建了一个新颖的MultiSensory Conversation数据集，专注于语音，使Agent能够生成自然的语音。然后，我们提出了一种基于多模态LLM的模型，用于生成文本响应和语音描述，这些描述用于生成包含副语言信息的语音。实验结果表明，在对话中利用视觉和音频模态来生成引人入胜的语音是有效的。源代码可在https://github.com/kimtaesu24/MSenC 获取。

🔬 方法详解

问题定义：现有对话Agent在生成语音时，往往忽略了语音中蕴含的情感、语调等副语言信息，导致生成的语音缺乏人情味，交互体验不够自然。现有的多模态LLM虽然可以处理多种输入，但对语音生成方面的关注较少，无法充分利用语音的表达能力。

核心思路：论文的核心思路是利用多模态LLM，同时考虑视觉和听觉信息，生成包含情感和风格信息的语音描述，然后利用语音合成技术，将这些描述转化为自然且引人入胜的语音。通过这种方式，Agent可以更好地理解对话的上下文和情感，从而生成更符合人类习惯的语音响应。

技术框架：整体框架包含以下几个主要模块：1) 多模态输入编码器：用于提取视觉和听觉特征；2) 多模态LLM：基于编码后的特征，生成文本响应和语音描述；3) 语音合成器：将语音描述转化为最终的语音输出。整个流程首先利用多模态信息理解对话上下文，然后生成包含情感和风格信息的语音描述，最后通过语音合成技术生成自然语音。

关键创新：论文的关键创新在于提出了一个基于多模态LLM的语音生成框架，该框架能够同时考虑视觉和听觉信息，生成包含副语言信息的语音描述。与现有方法相比，该方法能够更好地捕捉语音中的情感和风格，从而生成更具表现力的语音。此外，论文还构建了一个新的MultiSensory Conversation数据集，为训练和评估类人对话Agent提供了数据支持。

关键设计：在多模态LLM中，使用了Transformer架构，并针对视觉和听觉特征进行了专门的编码。语音描述的生成采用了条件生成模型，以文本响应作为条件，控制语音的整体内容。语音合成器采用了Tacotron2或FastSpeech等先进的文本到语音模型，以保证语音的自然度和流畅性。损失函数包括文本生成损失、语音描述生成损失和语音合成损失，共同优化整个框架的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法能够有效利用视觉和听觉模态，生成更具吸引力的语音。与基线方法相比，生成的语音在自然度、情感表达和风格一致性方面均有显著提升。用户评价表明，该方法生成的语音更接近人类语音，交互体验更佳。具体性能数据未知，但整体效果优于现有方法。

🎯 应用场景

该研究成果可应用于智能客服、虚拟助手、社交机器人等领域，提升人机交互的自然度和用户体验。通过生成更具表现力的语音，Agent可以更好地理解用户的情感需求，提供更个性化和人性化的服务。未来，该技术还可以应用于教育、娱乐等领域，创造更具吸引力的交互体验。

📄 摘要（原文）

Human conversation involves language, speech, and visual cues, with each medium providing complementary information. For instance, speech conveys a vibe or tone not fully captured by text alone. While multimodal LLMs focus on generating text responses from diverse inputs, less attention has been paid to generating natural and engaging speech. We propose a human-like agent that generates speech responses based on conversation mood and responsive style information. To achieve this, we build a novel MultiSensory Conversation dataset focused on speech to enable agents to generate natural speech. We then propose a multimodal LLM-based model for generating text responses and voice descriptions, which are used to generate speech covering paralinguistic information. Experimental results demonstrate the effectiveness of utilizing both visual and audio modalities in conversation to generate engaging speech. The source code is available in https://github.com/kimtaesu24/MSenC