Multimodal Diffusion Transformer: Learning Versatile Behavior from Multimodal Goals
作者: Moritz Reuss, Ömer Erdinç Yağmurlu, Fabian Wenzel, Rudolf Lioutikov
分类: cs.RO
发布日期: 2024-07-08
备注: RSS 2024
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出多模态扩散Transformer(MDT)，通过少量语言标注从多模态目标中学习通用行为。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 扩散模型 Transformer 模仿学习 机器人操作 语言条件行为 自监督学习 稀疏标注
📋 核心要点
- 现有模仿学习方法难以利用大规模数据集中稀疏的语言标注信息，限制了其学习语言条件行为的能力。
- MDT通过学习潜在的、以多模态目标为条件的state表示，对齐图像和语言目标嵌入，从而预测未来状态。
- MDT在CALVIN和LIBERO基准测试中表现出色，并在CALVIN操作挑战赛中取得了显著的性能提升。
📝 摘要（中文）
本文介绍了一种新的扩散策略框架——多模态扩散Transformer (MDT)，它擅长从具有少量语言标注的多模态目标规范中学习通用行为。MDT利用基于扩散的多模态Transformer主干网络和两个自监督辅助目标，来掌握基于多模态目标的长期操作任务。大多数模仿学习方法仅从单个目标模态（例如，语言或目标图像）中学习。然而，现有的大规模模仿学习数据集仅部分标注了语言信息，这阻碍了当前方法从这些数据集中学习语言条件行为。MDT通过引入潜在的、以目标为条件的state表示来解决这一挑战，该表示同时在多模态目标指令上进行训练。这种state表示对齐了基于图像和语言的目标嵌入，并编码了足够的信息来预测未来状态。该表示通过两个自监督辅助目标进行训练，从而增强了所提出的Transformer主干网络的性能。MDT在CALVIN和LIBERO基准测试提供的164个任务上表现出卓越的性能，包括一个语言标注少于2%的LIBERO版本。此外，MDT在CALVIN操作挑战赛中创造了新的记录，与需要大规模预训练并包含10倍以上可学习参数的现有最先进方法相比，实现了15%的绝对性能提升。MDT展示了其在模拟和真实环境中，从稀疏标注数据中解决长期操作任务的能力。
🔬 方法详解
问题定义：现有模仿学习方法主要依赖于单一模态的目标信息（如语言或图像），无法有效利用大规模数据集中存在的、但标注稀疏的多模态信息，特别是语言信息。这限制了策略学习的泛化能力和对语言指令的理解能力。现有方法通常需要大量语言标注数据，或者依赖大规模预训练，计算成本高昂。
核心思路：MDT的核心思路是学习一个潜在的、以多模态目标为条件的state表示。该表示能够融合来自不同模态（图像和语言）的目标信息，并编码足够的信息来预测未来的状态。通过这种方式，MDT可以利用数据集中存在的少量语言标注信息，并将其泛化到未标注的数据上，从而提高策略学习的效率和泛化能力。
技术框架：MDT的整体框架包括一个基于扩散的多模态Transformer主干网络和两个自监督辅助目标。首先，MDT将图像和语言目标信息编码为嵌入向量。然后，这些嵌入向量被输入到Transformer网络中，以预测未来的状态。为了提高state表示的质量，MDT还引入了两个自监督辅助目标，用于训练state表示，使其能够更好地对齐不同模态的目标信息，并预测未来的状态。
关键创新：MDT的关键创新在于其潜在的、以多模态目标为条件的state表示学习方法。该方法能够有效地融合来自不同模态的目标信息，并利用数据集中存在的少量语言标注信息。与现有方法相比，MDT不需要大规模预训练，并且能够更好地泛化到未标注的数据上。
关键设计：MDT的关键设计包括：1) 使用Transformer网络作为主干网络，以捕捉长期依赖关系；2) 引入两个自监督辅助目标，用于训练state表示；3) 设计了一种多模态目标嵌入方法，能够有效地融合来自图像和语言的目标信息。具体的损失函数和网络结构细节在论文中有详细描述，但摘要中未明确给出。
🖼️ 关键图片
📊 实验亮点
MDT在CALVIN和LIBERO基准测试中取得了显著的性能提升。在CALVIN操作挑战赛中，MDT创造了新的记录，与需要大规模预训练并包含10倍以上可学习参数的现有最先进方法相比，实现了15%的绝对性能提升。此外，MDT在LIBERO基准测试中，即使在语言标注少于2%的情况下，也表现出卓越的性能。
🎯 应用场景
MDT具有广泛的应用前景，例如机器人操作、自动驾驶、人机交互等领域。它可以用于训练机器人执行复杂的任务，例如组装家具、烹饪食物等。此外，MDT还可以用于开发更智能的自动驾驶系统，使其能够更好地理解人类的指令，并安全地行驶。MDT的稀疏标注学习能力使其在数据标注成本高昂的场景下具有显著优势。
📄 摘要（原文）
This work introduces the Multimodal Diffusion Transformer (MDT), a novel diffusion policy framework, that excels at learning versatile behavior from multimodal goal specifications with few language annotations. MDT leverages a diffusion-based multimodal transformer backbone and two self-supervised auxiliary objectives to master long-horizon manipulation tasks based on multimodal goals. The vast majority of imitation learning methods only learn from individual goal modalities, e.g. either language or goal images. However, existing large-scale imitation learning datasets are only partially labeled with language annotations, which prohibits current methods from learning language conditioned behavior from these datasets. MDT addresses this challenge by introducing a latent goal-conditioned state representation that is simultaneously trained on multimodal goal instructions. This state representation aligns image and language based goal embeddings and encodes sufficient information to predict future states. The representation is trained via two self-supervised auxiliary objectives, enhancing the performance of the presented transformer backbone. MDT shows exceptional performance on 164 tasks provided by the challenging CALVIN and LIBERO benchmarks, including a LIBERO version that contains less than $2\%$ language annotations. Furthermore, MDT establishes a new record on the CALVIN manipulation challenge, demonstrating an absolute performance improvement of $15\%$ over prior state-of-the-art methods that require large-scale pretraining and contain $10\times$ more learnable parameters. MDT shows its ability to solve long-horizon manipulation from sparsely annotated data in both simulated and real-world environments. Demonstrations and Code are available at https://intuitive-robots.github.io/mdt_policy/.