Diffusion Meets Options: Hierarchical Generative Skill Composition for Temporally-Extended Tasks

📄 arXiv: 2410.02389v1 📥 PDF

作者: Zeyu Feng, Hao Luan, Kevin Yuchen Ma, Harold Soh

分类: cs.RO, cs.AI, cs.LG

发布日期: 2024-10-03

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

DOPPLER：结合扩散模型与Options的分层生成式技能组合框架，用于时序扩展任务

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 扩散模型 分层强化学习 Options 时序扩展任务 轨迹规划 机器人导航 机器人操作

📋 核心要点

  1. 现有方法在处理具有时序扩展目标的长时程轨迹规划时，缺乏有效的重新规划和纠错机制，难以应对复杂环境。
  2. DOPPLER通过分层强化学习将任务分解为Options链，并利用扩散模型生成低层动作，实现高效的轨迹规划。
  3. 实验结果表明，DOPPLER在机器人导航和操作任务中能够生成满足时序逻辑公式的轨迹，实现避障和顺序访问等目标。

📝 摘要（中文）

本文提出了一种名为DOPPLER的数据驱动分层框架，用于解决具有时序扩展目标的长时程轨迹规划问题，并支持在后退视界中频繁地重新规划和纠正执行错误。DOPPLER将时序任务分解为一系列Options，并利用离线非专家数据集进行分层强化学习。该方法利用扩散模型生成包含底层动作的Options。此外，本文还设计了一种行列式引导的后验采样技术，用于批量生成Options，从而提高扩散生成Options的速度和多样性，进而提升查询效率。在机器人导航和操作任务上的实验表明，DOPPLER能够生成一系列轨迹，逐步满足指定的公式，实现避障和顺序访问。

🔬 方法详解

问题定义：论文旨在解决机器人长时程轨迹规划问题，尤其是在具有时序扩展目标（如线性时序逻辑LTL描述的任务）的情况下。现有方法通常难以有效地进行重新规划和纠错，无法很好地适应复杂环境中的变化。此外，从非专家数据中学习有效的技能组合也是一个挑战。

核心思路：论文的核心思路是将复杂的时序任务分解为一系列可学习的“Options”，每个Option代表一个子目标或技能。通过分层强化学习，高层策略选择合适的Option序列，而底层策略则利用扩散模型生成具体的动作序列来实现每个Option。这种分层结构允许更高效的探索和学习，并支持在执行过程中进行重新规划。

技术框架：DOPPLER框架包含以下主要模块：1) Option发现：利用离线非专家数据集，通过分层强化学习训练Option策略。2) Option生成：使用扩散模型生成每个Option对应的低层动作序列。3) Option选择：高层策略根据当前状态和LTL指令，选择合适的Option序列。4) 轨迹执行与重新规划：执行选定的Option序列，并在必要时进行重新规划。框架采用后退视界的方式，定期评估当前轨迹并进行调整。

关键创新：论文的关键创新在于将扩散模型引入到Option生成中，并提出了一种行列式引导的后验采样技术。扩散模型能够生成多样且高质量的动作序列，而行列式引导的采样方法则进一步提高了生成速度和多样性，从而提升了整体的规划效率。此外，分层强化学习框架也使得DOPPLER能够有效地学习和组合不同的技能。

关键设计：行列式引导的后验采样技术是关键设计之一。该方法通过最大化采样样本之间的行列式值，来保证样本的多样性。损失函数包括强化学习中的奖励函数和扩散模型的重构损失。网络结构方面，高层策略通常采用标准的强化学习网络，而底层扩散模型则根据具体任务进行设计。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DOPPLER在机器人导航和操作任务中表现出色，能够生成满足指定时序逻辑公式的轨迹。与基线方法相比，DOPPLER能够更有效地实现避障和顺序访问等目标，并且具有更快的规划速度和更高的成功率。具体的性能数据和提升幅度在论文中进行了详细的展示。

🎯 应用场景

DOPPLER具有广泛的应用前景，例如自主导航、机器人操作、自动驾驶等领域。它可以应用于需要长时间规划和复杂任务分解的场景，例如在仓库中进行物品拣选、在家庭环境中进行清洁任务、以及在复杂环境中进行自主探索等。该研究有助于提升机器人的自主性和适应性，使其能够更好地完成各种实际任务。

📄 摘要（原文）

Safe and successful deployment of robots requires not only the ability to generate complex plans but also the capacity to frequently replan and correct execution errors. This paper addresses the challenge of long-horizon trajectory planning under temporally extended objectives in a receding horizon manner. To this end, we propose DOPPLER, a data-driven hierarchical framework that generates and updates plans based on instruction specified by linear temporal logic (LTL). Our method decomposes temporal tasks into chain of options with hierarchical reinforcement learning from offline non-expert datasets. It leverages diffusion models to generate options with low-level actions. We devise a determinantal-guided posterior sampling technique during batch generation, which improves the speed and diversity of diffusion generated options, leading to more efficient querying. Experiments on robot navigation and manipulation tasks demonstrate that DOPPLER can generate sequences of trajectories that progressively satisfy the specified formulae for obstacle avoidance and sequential visitation. Demonstration videos are available online at: https://philiptheother.github.io/doppler/.