Unlocking Proactivity in Task-Oriented Dialogue
作者: Hongbin Zhang, Ning Gao, Yuqin Dai, Ruiyuan Wu, Jinpeng Wang, Rena Wei Gao, Bingdong Tan, Shuzheng Gao, Zongjie Li, Chaozheng Wang
分类: cs.AI
发布日期: 2026-05-21
💡 一句话要点
提出认知用户模拟器以解决主动任务导向对话问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 主动对话 任务导向对话 用户模拟 策略优化 说服力 强化学习
📋 核心要点
- 现有的任务导向对话系统在主动性方面表现不足，难以有效引导用户关注点并达成目标。
- 论文提出通过认知用户模拟器建模用户潜在关注点，进而实现主动对话能力的提升。
- 实验结果表明，所提方法在对话的说服力和用户满意度上显著优于传统方法。
📝 摘要（中文）
主动任务导向对话（TOD）如外呼销售，需要一个能够积极探测用户关注点并引导对话的说服性代理。然而，后训练的语言模型（LLM）本质上较为保守，奖励塑形强化学习（如GRPO）仅能重新加权已被动策略的样本。我们展示了基于用户潜在关注点的条件化能够解锁主动能力，成为训练时的关键信号。为此，我们构建了认知用户模拟器，模拟每个用户为一个包含可观察外部特征和隐藏内部关注点的分层角色。该模拟器生成真实且多样的交互，同时发出每轮状态动态以跟踪说服进展。我们引入了模拟器诱导的不对称视图策略优化，将建模的关注点和模拟状态转变为互补的训练目标。
🔬 方法详解
问题定义：本论文旨在解决任务导向对话系统在主动性不足的问题。现有方法如后训练的LLM和奖励塑形RL在引导用户关注点方面存在局限，导致对话效果不佳。
核心思路：通过条件化用户的潜在关注点，论文提出了一种新的训练信号，利用认知用户模拟器来模拟用户的多维特征，从而增强对话系统的主动性。
技术框架：整体架构包括认知用户模拟器和模拟器诱导的不对称视图策略优化。模拟器生成用户交互并跟踪状态动态，而策略优化则通过两种互补目标进行训练。
关键创新：最重要的创新在于将用户的潜在关注点作为训练信号，利用模拟器生成的状态动态来优化对话策略，这一方法与传统的被动策略优化有本质区别。
关键设计：在设计中，采用了不对称的自蒸馏方法，将关注点感知的行为从特权视图转移到可部署的对话视图，同时引入状态转变策略精炼，确保模型在训练过程中能够有效学习用户的动态需求。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提方法在说服力和用户满意度上相较于基线模型提升了20%以上，且在多轮对话中表现出更高的用户参与度和响应率。这表明该方法在实际应用中具有显著的效果。
🎯 应用场景
该研究的潜在应用领域包括客户服务、销售和教育等任务导向对话场景。通过提升对话系统的主动性，可以显著提高用户体验和满意度，进而推动商业价值的增长。未来，该方法有望在更多复杂的对话系统中得到应用，推动智能对话技术的发展。
📄 摘要（原文）
Proactive task-oriented dialogue (TOD), such as outbound sales, demands a persuasive agent that actively probes the user's concerns and steers the conversation toward acceptance within a bounded number of turns. Yet post-trained LLMs are inherently conservative, and reward-shaping RL (e.g., GRPO) struggles since it only re-weights what an already passive policy samples. We show that conditioning on the user's latent concerns unlocks proactive capability that no amount of sampling can undermine, establishing these concerns as a pivotal training-time signal. To operationalize this finding, we build the \textbf{Cognitive User Simulator}, which models each user as a stratified persona comprising observable external traits and hidden internal concerns. The simulator produces faithful and diverse interactions, while emitting per-turn state dynamics that track persuasion progress. We then introduce \textbf{Simulator-Induced Asymmetric-View Policy Optimization}, which converts the modeled concerns and the simulation state transition into complementary training objectives: (1) \emph{Asymmetric On-Policy Self-Distillation} that transfers concern-aware behavior from a privileged view of the same policy into its deployable, conversation-only view; and (2) \emph{State-Transition Policy Refinement} ...