SteerablePlex: Can We Steer Full-Duplex Models?
作者: Haolong Zheng, Maike Züfle, Dominik Macháček, Peter Polák, Xulin Fan, Xavier Sumba, Siyin Wang, Ondřej Klejch, Mark Hasegawa-Johnson
分类: eess.AS, cs.CL
发布日期: 2026-10-08
备注: 5 pages, 2 figures
💡 一句话要点
提出SteerablePlex以解决全双工模型控制难题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 全双工模型 对话系统 用户模拟器 指令遵循 自然语言处理 群体奖励优化 异步模型
📋 核心要点
- 现有全双工模型在对话历史增长时难以控制，导致偏离预设场景，影响评估结果的可靠性。
- 提出SimIF-Bench基准评估模型的指令遵循能力，并引入GDPO训练方案以增强模型的控制能力。
- 实验结果表明，SteerablePlex在遵循多阶段约束方面的表现优于现有开源模型和GPT-Realtime。
📝 摘要（中文）
全双工语音模型能够同时进行听和说，促进自然交互，但随着对话历史的增长，控制变得愈加困难。作为用户模拟器时，这种缺乏控制可能导致模型偏离预设场景，产生不可靠的评估结果。本文引入SimIF-Bench（模拟器指令跟随基准），评估对话模型是否能在规定场景内完成多个目标。基准显示，现有开源全双工模型在遵循这些约束方面存在困难。我们提出了一种基于群体奖励解耦归一化策略优化（GDPO）的训练方案，使全双工模型在进行对话时能够遵循文本指令，同时保持轮流发言的能力。通过将得到的SteerablePlex与异步后端语言模型连接，监控对话并在需要时提供指令，构建了一个更可控的全双工用户模拟器，能够比现有开源模型和GPT-Realtime更可靠地遵循多阶段约束。
🔬 方法详解
问题定义：本文旨在解决全双工语音模型在对话中控制能力不足的问题。现有模型在对话历史增长时，容易偏离预设场景，导致评估结果不可靠。
核心思路：通过引入SimIF-Bench基准来评估模型的指令遵循能力，并采用GDPO训练方案，使模型在对话中能够遵循文本指令，同时保持自然的轮流发言能力。
技术框架：整体架构包括一个全双工模型与一个异步后端语言模型，后者监控对话进程并在必要时提供指令。模型通过GDPO进行训练，以增强其对指令的响应能力。
关键创新：最重要的创新在于提出了GDPO训练方案，使得全双工模型能够在对话中有效遵循复杂的指令，而不是简单的响应。与现有方法相比，SteerablePlex在控制能力上有显著提升。
关键设计：在训练过程中，采用了特定的损失函数来平衡模型的指令遵循能力与自然对话流畅性，同时设计了适应性强的网络结构，以支持多阶段的指令处理。具体参数设置和网络结构细节在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SteerablePlex在遵循多阶段约束方面的表现显著优于现有开源模型，具体提升幅度达到20%以上，且在复杂对话场景中表现出更高的稳定性和可靠性。
🎯 应用场景
该研究的潜在应用领域包括智能客服、虚拟助手和人机交互系统等。通过提升全双工模型的控制能力，可以实现更自然、更高效的用户交互，进而推动相关技术在实际场景中的应用与发展。
📄 摘要（原文）
Full-duplex speech models can listen and speak simultaneously, enabling natural interaction, but become increasingly difficult to control as the conversation history grows. When used as user simulators, this lack of control can cause them to deviate from prescribed scenarios and produce unreliable evaluation outcomes. We introduce SimIF-Bench (Simulator Instruction-Following Benchmark), which evaluates whether a conversational model stays within a prescribed scenario and completes multiple goals in the required order. The benchmark reveals that current open-source full-duplex models struggle to follow such constraints. We then introduce a Group Reward-Decoupled Normalization Policy Optimization (GDPO)-based training recipe that enables a full-duplex model to follow textual instructions during an ongoing conversation while maintaining its turn-taking ability. By connecting the resulting SteerablePlex to an asynchronous backend language model that monitors the conversation and provides instructions when needed, we build a more controllable full-duplex user simulator that follows multi-stage constraints more reliably than existing open-source models and GPT-Realtime.