PlayFusion: Skill Acquisition via Diffusion from Language-Annotated Play
作者: Lili Chen, Shikhar Bahl, Deepak Pathak
分类: cs.RO, cs.AI, cs.CV, cs.LG, eess.SY
发布日期: 2023-12-07
备注: In CoRL 2023. Website at https://play-fusion.github.io
💡 一句话要点
PlayFusion：利用语言标注的无结构数据，通过扩散模型学习机器人技能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人技能学习 扩散模型 非结构化数据 语言标注 多模态学习 条件生成 离散瓶颈
📋 核心要点
- 现有机器人技能学习方法难以有效利用非结构化、多模态和次优的“play”数据。
- 提出PlayFusion，利用扩散模型学习多任务技能，通过条件去噪处理“play”数据的复杂性。
- 实验表明，该方法在模拟和真实环境中均能有效学习机器人技能，并生成多样化的行为。
📝 摘要（中文）
从非结构化和未经整理的数据中学习已成为语言和视觉领域生成方法的主流范式。这种非结构化和无引导的行为数据，通常被称为“play”，在机器人技术中也更容易收集，但由于其固有的多模态、噪声和次优性，从中学习更具挑战性。本文研究了从事后用语言标记的非结构化“play”数据中学习目标导向的技能策略的问题。具体来说，我们利用扩散模型的最新进展来学习多任务扩散模型，以从“play”数据中提取机器人技能。通过在状态和动作空间中使用条件去噪扩散过程，我们可以优雅地处理“play”数据的复杂性和多模态性，并生成多样且有趣的机器人行为。为了使扩散模型更适用于技能学习，我们通过在条件行为生成过程中引入离散瓶颈来鼓励机器人智能体获得技能词汇。在我们的实验中，我们证明了我们的方法在模拟和现实世界的各种环境中都有效。
🔬 方法详解
问题定义：论文旨在解决从非结构化的机器人“play”数据中学习目标导向技能策略的问题。现有的方法难以处理“play”数据固有的多模态、噪声和次优性，导致学习到的技能泛化能力差，难以适应复杂环境。
核心思路：论文的核心思路是利用扩散模型强大的生成能力，将“play”数据视为一种概率分布，通过学习该分布来提取机器人技能。通过条件去噪扩散过程，模型能够从噪声中逐步恢复出有意义的机器人行为，从而克服“play”数据的噪声和次优性。此外，引入离散瓶颈鼓励智能体学习技能词汇，提高技能的模块化和可组合性。
技术框架：PlayFusion 的整体框架包括以下几个主要模块：1) 数据收集：收集带有语言标注的机器人“play”数据。2) 扩散模型训练：使用收集到的数据训练一个条件扩散模型，该模型以状态和动作为输入，并以语言描述作为条件。3) 技能提取：通过对训练好的扩散模型进行采样，可以生成各种机器人技能。4) 技能组合：通过组合不同的技能，可以完成更复杂的任务。
关键创新：该论文的关键创新在于将扩散模型应用于机器人技能学习，并提出了一种新的技能学习框架 PlayFusion。与传统的强化学习方法相比，PlayFusion 能够直接从非结构化的“play”数据中学习，无需手动设计奖励函数。此外，引入离散瓶颈鼓励智能体学习技能词汇，提高了技能的模块化和可组合性。
关键设计：PlayFusion 使用的扩散模型是一个条件去噪扩散概率模型 (DDPM)。该模型的目标是学习一个逆扩散过程，将高斯噪声逐步转化为有意义的机器人行为。模型的损失函数包括一个重构损失和一个KL散度损失。为了引入离散瓶颈，论文使用了一个变分自编码器 (VAE)，将状态和动作编码成一个离散的潜在变量。该潜在变量可以被视为技能词汇中的一个词。
📊 实验亮点
实验结果表明，PlayFusion 在模拟和真实环境中均能有效学习机器人技能。在多个任务上，PlayFusion 的性能优于现有的强化学习方法。此外，实验还表明，引入离散瓶颈可以提高技能的模块化和可组合性，从而使机器人能够完成更复杂的任务。例如，在抓取任务中，PlayFusion 能够学习到抓取不同形状物体的技能，并将这些技能组合起来完成更复杂的抓取任务。
🎯 应用场景
PlayFusion 有潜力应用于各种机器人应用场景，例如家庭服务机器人、工业机器人和自动驾驶汽车。该方法可以使机器人能够从人类演示或自身探索中学习新的技能，从而提高机器人的自主性和适应性。此外，PlayFusion 还可以用于生成各种机器人行为，从而提高机器人的娱乐性和互动性。
📄 摘要（原文）
Learning from unstructured and uncurated data has become the dominant paradigm for generative approaches in language and vision. Such unstructured and unguided behavior data, commonly known as play, is also easier to collect in robotics but much more difficult to learn from due to its inherently multimodal, noisy, and suboptimal nature. In this paper, we study this problem of learning goal-directed skill policies from unstructured play data which is labeled with language in hindsight. Specifically, we leverage advances in diffusion models to learn a multi-task diffusion model to extract robotic skills from play data. Using a conditional denoising diffusion process in the space of states and actions, we can gracefully handle the complexity and multimodality of play data and generate diverse and interesting robot behaviors. To make diffusion models more useful for skill learning, we encourage robotic agents to acquire a vocabulary of skills by introducing discrete bottlenecks into the conditional behavior generation process. In our experiments, we demonstrate the effectiveness of our approach across a wide variety of environments in both simulation and the real world. Results visualizations and videos at https://play-fusion.github.io