Full-Duplex Interaction with Speech, Expressions and Gestures
作者: Siyin Wang, Wenyi Yu, Terumi Chiba, Xianzhao Chen, Xiaohai Tian, Jun Zhang, Lu Lu, Chao Zhang
分类: eess.AS, cs.AI, cs.CV, cs.SD
发布日期: 2026-10-15
备注: 37 pages, 5 figures
💡 一句话要点
提出ELLSA 2以解决全双工对话中的多模态交互问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 全双工对话 多模态交互 语音合成 手势生成 表情识别 上下文语义 模板指导 自动评估
📋 核心要点
- 核心问题：现有的全双工对话模型在语音、手势和表情的协调生成上存在不足，难以实现自然的多模态交互。
- 方法要点：ELLSA 2通过自回归合成器和上下文语义调用，优化了语音与非语言信息的同步生成，提升了对话的自然性。
- 实验或效果：ELLSA 2在对话感知手势和表情的评估指标上超越了现有开源模型，且语义手势质量显著提升。
📝 摘要（中文）
人类面对面交流需要协调语音、手势和表情的互动。本文提出了ELLSA 2，一个端到端的全双工对话模型，能够联合优化语音交互和流式手势-表情生成。该模型通过自回归的分块合成器，将预训练的声学特征与对话主干和语音合成器中的不同听说隐状态结合，实现了即使在模型沉默时也能持续生成非语言信息。为将对话理解转化为生动的语义手势，论文引入了上下文语义调用和模板指导，明确了何时调用可用语义手势与如何实现的区别。实验表明，ELLSA 2在对话感知的手势和表情指标上超越了级联基线，且与人类评判的强系统级相关性支持了这些参考分数作为全双工和语义手势评估的有用初步指标。
🔬 方法详解
问题定义：本论文旨在解决全双工对话中语音、手势和表情的协调生成问题。现有方法在多模态交互中往往无法有效同步这些元素，导致对话的自然性和流畅性不足。
核心思路：ELLSA 2的核心思路是通过自回归的分块合成器，将预训练的声学特征与对话主干中的听说隐状态结合，支持在模型沉默时持续生成非语言信息。引入上下文语义调用和模板指导，明确了何时调用语义手势与如何实现的区别。
技术框架：ELLSA 2的整体架构包括对话主干、语音合成器和自回归合成器三个主要模块。对话主干负责理解对话内容，语音合成器生成语音，而自回归合成器则负责生成手势和表情。
关键创新：ELLSA 2的主要创新在于其联合优化语音与非语言信息生成的能力，以及引入的上下文语义调用和模板指导机制，这与现有方法的分离处理方式有本质区别。
关键设计：在模型设计中，采用了特定的损失函数来平衡语音与手势生成的质量，并通过精心设计的网络结构来实现对话感知的手势生成。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ELLSA 2在对话感知手势和表情的评估指标上超越了现有的开源全双工语音交互模型，且在级联基线上的表现提升显著。语义模板指导显著提高了生成手势的质量，系统级评估与人类判断的强相关性进一步验证了模型的有效性。
🎯 应用场景
该研究的潜在应用领域包括人机交互、虚拟助手、社交机器人等。通过实现更自然的多模态交互，ELLSA 2能够提升用户体验，促进人机沟通的流畅性和有效性，未来可能在教育、医疗等多个行业产生深远影响。
📄 摘要（原文）
Human face-to-face conversation requires coordinating speech, gestures and expressions across both speaking and listening. We present ELLSA 2, an end-to-end full-duplex dialogue model that jointly optimizes speech interaction and streaming gesture-expression generation. An autoregressive, chunk-wise synthesizer combines pretrained acoustic features with distinct listening and speaking hidden states from the dialogue backbone and speech synthesizer, enabling continuous non-verbal generation even when the model is verbally silent. To translate dialogue understanding into vivid semantic gestures, we introduce contextual semantic calls and template guidance, separating whether to invoke an available semantic gesture from how to realize it. We also establish a curated data and evaluation pipeline for dialog-aware co-speech gesture generation and investigate reference-based multimodal large language models (MLLMs) as automatic judges. Experiments show that ELLSA 2 remains highly competitive with open-source full-duplex speech interaction models and outperforms cascaded baselines across dialog-aware gesture and expression metrics. Semantic template guidance further significantly improves semantic gesture quality. Strong system-level correlations with human judgments support these reference-based scores as useful preliminary metrics for full-duplex and semantic gesture assessment. Together, these results advance dialogue modeling from spoken responses toward coordinated multimodal interaction.