Beyond Words: Multimodal LLM Knows When to Speak

📄 arXiv: 2505.14654v1 📥 PDF

作者: Zikai Liao, Yi Ouyang, Yi-Lun Lee, Chen-Ping Yu, Yi-Hsuan Tsai, Zhaozheng Yin

分类: cs.CV, cs.AI, cs.CL

发布日期: 2025-05-20

备注: Project page: https://github.com/lzk901372/MM-When2Speak

💡 一句话要点

提出MM-When2Speak以解决对话中反应时机预测问题

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 对话系统 反应时机预测 视觉音频融合 大型语言模型 深度学习 人机交互

📋 核心要点

  1. 现有的LLM聊天机器人在对话中难以把握何时发言，尤其是在需要快速反应的场景中表现不足。
  2. 论文提出MM-When2Speak模型，通过整合视觉、音频和文本信息，实时预测对话中的反应时机和类型。
  3. 实验结果显示，MM-When2Speak在反应时机准确性上比领先的商业LLM提升了4倍，展示了多模态输入的重要性。

📝 摘要（中文）

尽管基于大型语言模型（LLM）的聊天机器人在生成连贯且上下文相关的回复方面表现出色，但在理解何时发言，尤其是在持续对话中提供简短及时的反应时仍存在困难。该研究聚焦于实时预测反应类型，强调依赖于视觉、音频和文本等多模态信号的短期反应。为此，研究者构建了一个新的多模态数据集，包含真实对话视频中时间对齐的视觉、听觉和文本流。基于此数据集，提出了MM-When2Speak模型，能够自适应整合多种上下文信息，预测何时应作出反应及适当的反应类型。实验结果表明，该模型在反应时机准确性上显著优于现有的单模态和LLM基线，最高提升达4倍。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在对话中反应时机预测的不足，现有方法主要依赖文本输入，缺乏对真实对话中丰富上下文线索的理解。

核心思路：通过引入多模态信号（视觉、音频和文本），论文提出了一种新的模型MM-When2Speak，能够实时预测何时应作出反应以及反应的类型，从而提升对话的自然性和及时性。

技术框架：该模型的整体架构包括数据预处理、特征提取和反应预测三个主要模块。数据预处理阶段对多模态数据进行对齐，特征提取阶段则利用深度学习技术提取视觉和音频特征，最后在反应预测阶段结合这些特征进行决策。

关键创新：MM-When2Speak的核心创新在于其多模态融合能力，能够有效整合来自不同模态的信息，显著提升反应时机的预测准确性，这与传统单模态方法形成鲜明对比。

关键设计：模型采用了多层神经网络结构，结合了自注意力机制以增强特征之间的关联性，同时在损失函数中引入了时间敏感性，以优化反应时机的预测效果。

📊 实验亮点

实验结果表明，MM-When2Speak在反应时机的准确性上比现有的单模态和LLM基线模型显著提升，最高达4倍的准确性提升，验证了多模态输入在对话系统中的重要性。

🎯 应用场景

该研究的潜在应用领域包括智能客服、虚拟助手和社交机器人等，能够提升这些系统在与用户互动时的自然性和响应速度。未来，该技术有望在更广泛的对话系统中得到应用，推动人机交互的智能化进程。

📄 摘要（原文）

While large language model (LLM)-based chatbots have demonstrated strong capabilities in generating coherent and contextually relevant responses, they often struggle with understanding when to speak, particularly in delivering brief, timely reactions during ongoing conversations. This limitation arises largely from their reliance on text input, lacking the rich contextual cues in real-world human dialogue. In this work, we focus on real-time prediction of response types, with an emphasis on short, reactive utterances that depend on subtle, multimodal signals across vision, audio, and text. To support this, we introduce a new multimodal dataset constructed from real-world conversational videos, containing temporally aligned visual, auditory, and textual streams. This dataset enables fine-grained modeling of response timing in dyadic interactions. Building on this dataset, we propose MM-When2Speak, a multimodal LLM-based model that adaptively integrates visual, auditory, and textual context to predict when a response should occur, and what type of response is appropriate. Experiments show that MM-When2Speak significantly outperforms state-of-the-art unimodal and LLM-based baselines, achieving up to a 4x improvement in response timing accuracy over leading commercial LLMs. These results underscore the importance of multimodal inputs for producing timely, natural, and engaging conversational AI.