Octo: An Open-Source Generalist Robot Policy

📄 arXiv: 2405.12213v2 📥 PDF

作者: Octo Model Team, Dibya Ghosh, Homer Walke, Karl Pertsch, Kevin Black, Oier Mees, Sudeep Dasari, Joey Hejna, Tobias Kreiman, Charles Xu, Jianlan Luo, You Liang Tan, Lawrence Yunliang Chen, Pannag Sanketi, Quan Vuong, Ted Xiao, Dorsa Sadigh, Chelsea Finn, Sergey Levine

分类: cs.RO, cs.LG

发布日期: 2024-05-20 (更新: 2024-05-26)

备注: Project website: https://octo-models.github.io

💡 一句话要点

Octo：一个开源的通用机器人策略，通过预训练和微调实现多平台操作。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人学习 通用策略 Transformer模型 预训练 微调 机器人操作 开源

📋 核心要点

  1. 现有机器人学习方法通常需要从头开始训练策略，泛化能力有限，难以适应不同的机器人平台和任务。
  2. Octo通过在大规模数据集上预训练Transformer模型，学习通用的机器人操作策略，并支持通过语言或图像进行指令。
  3. 实验表明，Octo可以快速微调到新的机器人平台和任务，并在多个机器人平台上实现了有效的操作能力。

📝 摘要（中文）

本文介绍了Octo，一个基于Transformer的大型机器人策略，它在迄今为止最大的机器人操作数据集Open X-Embodiment上经过了80万条轨迹的训练。Octo可以通过语言指令或目标图像进行指导，并且可以有效地微调到具有新传感器输入和动作空间的机器人设置，只需在标准消费级GPU上花费几个小时。在9个机器人平台上进行的实验表明，Octo可以作为一个通用的策略初始化，能够有效地微调到新的观察和动作空间。此外，本文还对Octo模型的设计决策进行了详细的消融研究，从架构到训练数据，旨在指导未来构建通用机器人模型的研究。

🔬 方法详解

问题定义：现有机器人学习方法通常需要针对特定任务和机器人平台进行单独训练，缺乏通用性和泛化能力。从头开始训练策略耗时耗力，难以适应新的环境和任务。因此，如何构建一个通用的机器人策略，使其能够快速适应不同的机器人平台和任务，是一个重要的研究问题。

核心思路：本文的核心思路是利用大规模数据集进行预训练，学习通用的机器人操作策略。通过预训练，模型可以学习到丰富的机器人操作知识，从而可以快速适应新的任务和环境。此外，本文还采用了Transformer模型，该模型具有强大的序列建模能力，可以有效地处理机器人操作中的时序信息。

技术框架：Octo的整体框架包括数据收集、模型预训练和策略微调三个阶段。首先，利用Open X-Embodiment数据集收集大量的机器人操作数据。然后，使用Transformer模型在这些数据上进行预训练，学习通用的机器人操作策略。最后，将预训练的模型微调到特定的机器人平台和任务上。模型接收语言指令或目标图像作为输入，输出机器人的动作序列。

关键创新：Octo的关键创新在于它是一个开源的、通用的机器人策略，可以在多个机器人平台上进行微调。此外，Octo还采用了Transformer模型，该模型具有强大的序列建模能力，可以有效地处理机器人操作中的时序信息。通过在大规模数据集上进行预训练，Octo可以学习到丰富的机器人操作知识，从而可以快速适应新的任务和环境。

关键设计：Octo使用Transformer架构，输入包括视觉信息（来自摄像头）、关节角度、末端执行器姿态以及语言指令或目标图像。损失函数包括动作预测损失和状态预测损失。训练数据来自Open X-Embodiment数据集，包含多种机器人平台和任务的数据。微调过程中，可以根据具体任务调整学习率和训练轮数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Octo在9个不同的机器人平台上进行了实验，证明了其作为通用策略初始化的有效性。通过在Open X-Embodiment数据集上进行预训练，Octo能够快速微调到新的观察和动作空间，并在多个机器人平台上实现了有效的操作能力。消融实验分析了模型架构和训练数据对性能的影响，为未来研究提供了指导。

🎯 应用场景

Octo具有广泛的应用前景，可以应用于工业自动化、家庭服务、医疗辅助等领域。例如，在工业自动化中，Octo可以用于控制机器人完成各种复杂的装配任务。在家庭服务中，Octo可以用于控制机器人完成各种家务任务，如清洁、烹饪等。在医疗辅助中，Octo可以用于控制机器人完成各种手术操作。

📄 摘要（原文）

Large policies pretrained on diverse robot datasets have the potential to transform robotic learning: instead of training new policies from scratch, such generalist robot policies may be finetuned with only a little in-domain data, yet generalize broadly. However, to be widely applicable across a range of robotic learning scenarios, environments, and tasks, such policies need to handle diverse sensors and action spaces, accommodate a variety of commonly used robotic platforms, and finetune readily and efficiently to new domains. In this work, we aim to lay the groundwork for developing open-source, widely applicable, generalist policies for robotic manipulation. As a first step, we introduce Octo, a large transformer-based policy trained on 800k trajectories from the Open X-Embodiment dataset, the largest robot manipulation dataset to date. It can be instructed via language commands or goal images and can be effectively finetuned to robot setups with new sensory inputs and action spaces within a few hours on standard consumer GPUs. In experiments across 9 robotic platforms, we demonstrate that Octo serves as a versatile policy initialization that can be effectively finetuned to new observation and action spaces. We also perform detailed ablations of design decisions for the Octo model, from architecture to training data, to guide future research on building generalist robot models.