Simulation-Free Hierarchical Latent Policy Planning for Proactive Dialogues

📄 arXiv: 2412.14584v1 📥 PDF

作者: Tao He, Lizi Liao, Yixin Cao, Yuanxing Liu, Yiheng Sun, Zerui Chen, Ming Liu, Bing Qin

分类: cs.CL

发布日期: 2024-12-19

备注: 24 pages, 5 fgiures, AAAI 2025

💡 一句话要点

提出LDPP，一种无仿真分层潜在策略规划框架，用于主动对话。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 主动对话 策略规划 强化学习 变分自编码器 离线学习 潜在空间 分层强化学习

📋 核心要点

  1. 现有主动对话系统依赖LLM进行用户模拟和在线学习，存在偏离现实场景和效率低下的问题。
  2. LDPP框架旨在从真实对话记录中自动挖掘细粒度策略，并学习有效的策略规划。
  3. 实验结果表明，LDPP在主动对话场景中优于现有方法，甚至超越了参数量更大的ChatGPT。

📝 摘要（中文）

主动对话的最新进展受到了广泛关注，尤其是在更复杂的目标（例如情感支持和说服）方面。与传统的面向任务的对话不同，主动对话需要先进的策略规划和适应性，这需要丰富的场景和全面的策略库来开发此类系统。然而，现有方法倾向于依赖大型语言模型（LLM）进行用户模拟和在线学习，导致偏见，偏离了现实场景，并导致次优效率。此外，这些方法依赖于手动定义的、与上下文无关的、粗粒度的策略，这不仅导致高昂的专家成本，而且引发了对其完整性的担忧。在我们的工作中，我们强调了直接从原始的、真实世界的对话记录中自动发现策略的潜力。为此，我们引入了一种新的对话策略规划框架LDPP。它完全自动化了从挖掘对话记录中的策略到学习策略规划的过程。具体来说，我们采用了一种变分自编码器的变体来发现表示为潜在向量的细粒度策略。在使用这些潜在策略标签自动注释数据后，我们提出了一种潜在空间中的离线分层强化学习（RL）算法来开发有效的策略规划能力。我们的实验表明，LDPP在两个主动场景中优于现有方法，甚至超过了只有18亿参数的ChatGPT。

🔬 方法详解

问题定义：现有主动对话系统依赖人工定义的粗粒度策略，成本高且完整性难以保证。同时，依赖LLM进行用户模拟和在线学习，容易产生偏见，导致策略在真实场景中表现不佳。因此，需要一种能够自动从真实对话数据中学习策略，并进行有效策略规划的方法。

核心思路：LDPP的核心思路是从真实对话数据中自动挖掘细粒度策略，并利用离线分层强化学习在潜在空间中学习策略规划。通过变分自编码器学习策略的潜在表示，避免了人工定义策略的局限性，并利用离线强化学习提高了学习效率和稳定性。

技术框架：LDPP框架包含两个主要阶段：策略发现和策略规划。在策略发现阶段，使用变分自编码器（VAE）的变体从对话记录中学习细粒度策略的潜在表示。在策略规划阶段，使用离线分层强化学习算法在潜在空间中学习策略规划。具体而言，首先使用VAE将对话状态和动作编码为潜在向量，然后使用这些潜在向量作为离线强化学习算法的输入，学习一个分层策略，该策略能够根据当前对话状态选择合适的潜在策略。

关键创新：LDPP的关键创新在于：1) 提出了一种自动从真实对话数据中挖掘细粒度策略的方法，避免了人工定义策略的局限性；2) 提出了一种基于离线分层强化学习的策略规划方法，提高了学习效率和稳定性；3) 将策略学习和策略规划放在潜在空间中进行，降低了学习难度，提高了泛化能力。

关键设计：VAE采用标准的编码器-解码器结构，损失函数包括重构损失和KL散度。离线分层强化学习算法采用Actor-Critic框架，其中Actor网络用于选择潜在策略，Critic网络用于评估潜在策略的价值。具体参数设置（如潜在空间维度、学习率等）未知，论文中可能未详细描述。

🖼️ 关键图片

fig_0

📊 实验亮点

LDPP在两个主动对话场景中取得了显著的性能提升，超越了现有方法，甚至超过了拥有18亿参数的ChatGPT。这表明LDPP在策略学习和规划方面具有强大的能力，能够有效地解决主动对话中的复杂问题。

🎯 应用场景

LDPP可应用于各种主动对话场景，例如情感支持、说服和推荐等。通过自动学习策略，可以降低人工成本，提高对话系统的智能化水平。该研究成果有助于构建更自然、更有效的对话系统，提升用户体验。

📄 摘要（原文）

Recent advancements in proactive dialogues have garnered significant attention, particularly for more complex objectives (e.g. emotion support and persuasion). Unlike traditional task-oriented dialogues, proactive dialogues demand advanced policy planning and adaptability, requiring rich scenarios and comprehensive policy repositories to develop such systems. However, existing approaches tend to rely on Large Language Models (LLMs) for user simulation and online learning, leading to biases that diverge from realistic scenarios and result in suboptimal efficiency. Moreover, these methods depend on manually defined, context-independent, coarse-grained policies, which not only incur high expert costs but also raise concerns regarding their completeness. In our work, we highlight the potential for automatically discovering policies directly from raw, real-world dialogue records. To this end, we introduce a novel dialogue policy planning framework, LDPP. It fully automates the process from mining policies in dialogue records to learning policy planning. Specifically, we employ a variant of the Variational Autoencoder to discover fine-grained policies represented as latent vectors. After automatically annotating the data with these latent policy labels, we propose an Offline Hierarchical Reinforcement Learning (RL) algorithm in the latent space to develop effective policy planning capabilities. Our experiments demonstrate that LDPP outperforms existing methods on two proactive scenarios, even surpassing ChatGPT with only a 1.8-billion-parameter LLM.