Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation
作者: Homanga Bharadhwaj, Roozbeh Mottaghi, Abhinav Gupta, Shubham Tulsiani
分类: cs.RO, cs.CV
发布日期: 2024-05-02 (更新: 2024-08-08)
备注: ECCV 2024. Last 3 authors contributed equally
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
Track2Act：利用互联网视频预测点轨迹，实现通用机器人操作
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 机器人操作 轨迹预测 互联网视频 零样本学习 通用机器人 强化学习 视觉伺服 目标条件策略
📋 核心要点
- 现有机器人操作方法依赖大量演示数据，泛化能力受限，难以应对新场景和新物体。
- Track2Act利用网络视频学习点轨迹预测，推断物体变换，结合少量机器人演示训练残差策略，实现通用操作。
- 实验表明，该方法在未见过的任务、物体和场景中实现了多样化的机器人操作，泛化性能显著提升。
📝 摘要（中文）
本文旨在学习一种通用的、目标条件策略，以实现零样本机器人操作：在新的场景中与未见过的物体交互，而无需测试时适应。与依赖大量演示数据来实现泛化的典型方法不同，我们提出了一种利用网络视频来预测合理交互计划的方法，并学习一种与任务无关的转换，以获得真实世界中的机器人动作。我们的框架Track2Act预测图像中点的轨迹，即基于目标，这些点在未来时间步长中应该如何移动。该框架可以使用各种网络视频进行训练，包括人类和机器人操作日常物体的视频。我们使用这些2D轨迹预测来推断要操作物体的刚性变换序列，并获得可以在开环方式中执行的机器人末端执行器姿势。然后，我们通过一个闭环策略来细化这个开环计划，该闭环策略通过少量特定于具体实现的演示进行训练，以预测残差动作。我们表明，这种将可扩展学习的轨迹预测与需要最少领域内机器人特定数据的残差策略相结合的方法，能够实现多样化的通用机器人操作，并展示了在未见过的任务、物体和场景中进行的一系列真实世界机器人操作结果。
🔬 方法详解
问题定义：现有机器人操作方法通常需要大量的特定任务演示数据，难以泛化到新的场景和物体。这些方法往往难以利用互联网上丰富的视频资源，例如人类操作物体的视频，因为这些视频与机器人操作存在领域差异。因此，如何利用这些大规模的、多样化的视频数据，实现零样本或少样本的机器人操作，是一个重要的挑战。
核心思路：Track2Act的核心思路是解耦学习过程，首先利用互联网视频学习通用的交互模式，然后通过少量机器人演示数据进行微调，以适应具体的机器人平台。具体来说，该方法首先预测图像中点的轨迹，这些轨迹反映了物体在交互过程中的运动模式。然后，利用这些轨迹推断物体的刚性变换，并生成机器人末端执行器的姿势。最后，通过一个闭环策略来细化这些姿势，以提高操作的精度和鲁棒性。
技术框架：Track2Act框架包含两个主要阶段：轨迹预测和动作细化。在轨迹预测阶段，该方法使用一个神经网络来预测图像中点的轨迹，该网络以目标图像和当前图像作为输入。在动作细化阶段，该方法使用一个闭环策略来预测残差动作，该策略以当前状态、目标状态和轨迹预测作为输入。整个框架的流程是：首先，利用轨迹预测模块生成一个初始的机器人操作计划；然后，利用动作细化模块对该计划进行优化，以提高操作的精度和鲁棒性。
关键创新：Track2Act的关键创新在于其利用互联网视频进行轨迹预测的能力。通过学习图像中点的运动模式，该方法可以从大量的、多样化的视频数据中提取通用的交互知识。与传统的机器人操作方法相比，Track2Act不需要大量的特定任务演示数据，从而大大提高了泛化能力。此外，该方法还通过一个闭环策略来细化操作计划，进一步提高了操作的精度和鲁棒性。
关键设计：轨迹预测模块使用一个卷积神经网络（CNN）来提取图像特征，并使用一个循环神经网络（RNN）来预测点的轨迹。损失函数包括轨迹预测损失和刚性变换损失。动作细化模块使用一个强化学习算法来训练闭环策略，奖励函数包括目标达成奖励和动作惩罚。
🖼️ 关键图片
📊 实验亮点
该论文在真实机器人平台上进行了大量实验，验证了Track2Act的有效性。实验结果表明，Track2Act在未见过的任务、物体和场景中实现了多样化的机器人操作，并且具有很强的泛化能力。与传统的机器人操作方法相比，Track2Act在操作成功率和效率方面都有显著提升。具体性能数据未知，但论文强调了其在各种未见过的场景下的泛化能力。
🎯 应用场景
Track2Act具有广泛的应用前景，例如家庭服务机器人、工业自动化、医疗机器人等。该方法可以使机器人能够自主地完成各种任务，例如整理房间、组装产品、进行手术等。通过利用互联网视频，Track2Act可以不断学习新的技能，从而提高机器人的智能化水平。未来，Track2Act有望成为一种通用的机器人操作框架，为机器人技术的发展做出重要贡献。
📄 摘要（原文）
We seek to learn a generalizable goal-conditioned policy that enables zero-shot robot manipulation: interacting with unseen objects in novel scenes without test-time adaptation. While typical approaches rely on a large amount of demonstration data for such generalization, we propose an approach that leverages web videos to predict plausible interaction plans and learns a task-agnostic transformation to obtain robot actions in the real world. Our framework,Track2Act predicts tracks of how points in an image should move in future time-steps based on a goal, and can be trained with diverse videos on the web including those of humans and robots manipulating everyday objects. We use these 2D track predictions to infer a sequence of rigid transforms of the object to be manipulated, and obtain robot end-effector poses that can be executed in an open-loop manner. We then refine this open-loop plan by predicting residual actions through a closed loop policy trained with a few embodiment-specific demonstrations. We show that this approach of combining scalably learned track prediction with a residual policy requiring minimal in-domain robot-specific data enables diverse generalizable robot manipulation, and present a wide array of real-world robot manipulation results across unseen tasks, objects, and scenes. https://homangab.github.io/track2act/