Unit-Based Agent for Semi-Cascaded Full-Duplex Dialogue Systems

📄 arXiv: 2601.20230v1 📥 PDF

作者: Haoyuan Yu, Yuxuan Chen, Minjie Cai

分类: cs.CL, cs.HC

发布日期: 2026-01-28

备注: ICASSP 2026 (Workshop). https://github.com/yu-haoyuan/fd-badcat

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于单元的Agent，用于半级联全双工对话系统

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 全双工对话系统 多模态大语言模型 语音活动检测 文本到语音 对话单元 人机交互

📋 核心要点

  1. 全双工语音交互对于自然人机交互至关重要，但构建能够实时响应并自然过渡的对话系统仍然具有挑战。
  2. 论文提出将对话分解为最小会话单元，独立处理并预测单元间的转换，从而简化复杂对话管理。
  3. 该框架通过多模态大语言模型和辅助模块实现，无需训练即可使用，并在HumDial数据集上取得了优异的实验结果。

📝 摘要（中文）

本文提出了一种框架，将复杂的对话分解为最小的会话单元，使系统能够独立处理每个单元并预测何时过渡到下一个单元。该框架被实例化为一个半级联全双工对话系统，该系统围绕多模态大型语言模型构建，并由语音活动检测（VAD）和文本到语音（TTS）合成等辅助模块支持。由此产生的系统以无训练、即插即用的方式运行。在HumDial数据集上的实验证明了我们框架的有效性，该框架在类人语音对话系统挑战赛（第二赛道：全双工交互）的测试集中排名第二。

🔬 方法详解

问题定义：现有全双工对话系统难以实现自然流畅的实时交互，主要痛点在于复杂对话的管理和适时响应。传统方法难以将对话分解为可独立处理的单元，也难以准确预测对话的下一步走向。

核心思路：论文的核心思路是将复杂的对话分解为最小的会话单元，每个单元可以独立处理。通过预测单元间的转换，系统可以更好地管理对话流程，实现更自然的交互体验。这种基于单元的分解方法简化了对话管理，并允许系统在适当的时机做出响应。

技术框架：该系统采用半级联架构，围绕多模态大型语言模型构建。主要模块包括：语音活动检测（VAD），用于检测用户语音；多模态大型语言模型，用于理解对话内容并生成回复；文本到语音（TTS）合成，用于将回复转化为语音输出。系统还包含一个单元管理模块，负责将对话分解为单元，并预测单元间的转换。

关键创新：该方法最重要的创新点在于基于单元的对话分解和管理。与传统的端到端方法不同，该方法将对话分解为更小的、可独立处理的单元，从而简化了对话管理，并允许系统在适当的时机做出响应。此外，该系统采用无训练、即插即用的方式，降低了部署和维护成本。

关键设计：系统使用现成的VAD和TTS模型，重点在于多模态大语言模型的prompt设计和单元管理策略。具体的prompt设计和单元管理策略在论文中未详细描述，属于未知信息。系统采用半级联架构，允许各个模块独立运行，从而提高了系统的鲁棒性和可扩展性。

🖼️ 关键图片

fig_0

📊 实验亮点

该框架在HumDial数据集上进行了评估，并在Human-like Spoken Dialogue Systems Challenge (Track 2: Full-Duplex Interaction)的测试集中排名第二。实验结果表明，该框架能够有效地处理全双工对话，并实现自然流畅的交互体验。具体的性能数据和对比基线在论文中未详细给出，属于未知信息。

🎯 应用场景

该研究成果可应用于智能客服、语音助手、智能家居等领域，实现更自然、流畅的全双工语音交互。通过将对话分解为单元，系统可以更好地理解用户意图，并及时做出响应，从而提升用户体验。未来，该技术有望应用于更复杂的对话场景，例如多轮对话、任务型对话等。

📄 摘要（原文）

Full-duplex voice interaction is crucial for natural human computer interaction. We present a framework that decomposes complex dialogue into minimal conversational units, enabling the system to process each unit independently and predict when to transit to the next. This framework is instantiated as a semi-cascaded full-duplex dialogue system built around a multimodal large language model, supported by auxiliary modules such as voice activity detection (VAD) and text-to-speech (TTS) synthesis. The resulting system operates in a train-free, plug-and-play manner. Experiments on the HumDial dataset demonstrate the effectiveness of our framework, which ranks second among all teams on the test set of the Human-like Spoken Dialogue Systems Challenge (Track 2: Full-Duplex Interaction). Code is available at the GitHub repository https://github.com/yu-haoyuan/fd-badcat.