TiPToP: A Modular Open-Vocabulary Planning System for Robotic Manipulation

📄 arXiv: 2603.09971v1 📥 PDF

作者: William Shen, Nishanth Kumar, Sahit Chintalapudi, Jie Wang, Christopher Watson, Edward Hu, Jing Cao, Dinesh Jayaraman, Leslie Pack Kaelbling, Tomás Lozano-Pérez

分类: cs.RO

发布日期: 2026-03-10

备注: Project website: https://tiptop-robot.github.io

💡 一句话要点

TiPToP：用于机器人操作的模块化开放词汇规划系统

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操作 任务和运动规划 视觉基础模型 开放词汇 模块化系统

📋 核心要点

  1. 现有机器人操作方法通常需要大量特定任务的数据，泛化能力弱，且难以适应新的机器人形态。
  2. TiPToP通过结合预训练视觉模型和任务运动规划器，实现了从RGB图像和自然语言指令直接进行多步骤操作。
  3. 实验表明，TiPToP在模拟和真实环境中均表现出色，无需机器人数据，且性能与特定机器人微调模型相当。

📝 摘要（中文）

本文提出TiPToP，一个可扩展的模块化系统，它将预训练的视觉基础模型与现有的任务和运动规划器(TAMP)相结合，直接从输入的RGB图像和自然语言指令中解决多步骤操作任务。我们的系统旨在简单易用：它可以在一个标准的DROID设置上安装和运行，耗时不到一小时，并且可以以最小的努力适应新的机器人形态。我们在模拟和真实世界的28个桌面操作任务中评估了TiPToP（不需要任何机器人数据），发现它与$π_{0.5} ext{-DROID}$相匹配或优于它，$π_{0.5} ext{-DROID}$是一个在350小时的特定机器人演示数据上微调的视觉-语言-动作(VLA)模型。TiPToP的模块化架构使我们能够在组件级别分析系统的失效模式。我们分析了173次试验的评估结果，并确定了改进方向。我们开源发布TiPToP，以进一步研究模块化操作系统以及学习和规划之间更紧密的集成。项目网站和代码：https://tiptop-robot.github.io

🔬 方法详解

问题定义：现有机器人操作方法，特别是视觉-语言-动作模型，通常需要大量的机器人数据进行训练或微调，这限制了它们在新的机器人形态和任务上的泛化能力。此外，这些端到端模型的内部机制难以理解和调试，导致难以诊断和解决问题。

核心思路：TiPToP的核心思路是将机器人操作任务分解为感知、规划和控制三个模块，并利用预训练的视觉基础模型来处理感知任务，利用现有的任务和运动规划器来生成操作序列。这种模块化的设计使得系统易于扩展和调试，并且可以利用预训练模型的泛化能力，减少对特定任务数据的依赖。

技术框架：TiPToP系统包含以下主要模块：1) 感知模块：使用预训练的视觉基础模型（如CLIP）从RGB图像中提取场景信息，例如物体的位置、姿态和类别。2) 规划模块：使用任务和运动规划器（TAMP）根据自然语言指令和感知模块的输出，生成一系列操作步骤。3) 控制模块：执行规划模块生成的动作序列，控制机器人完成操作任务。整个流程是从RGB图像和自然语言指令开始，经过感知、规划和控制，最终完成机器人操作。

关键创新：TiPToP的关键创新在于其模块化的架构和对预训练视觉基础模型的有效利用。通过将机器人操作任务分解为独立的模块，TiPToP可以充分利用每个模块的优势，并且易于扩展和调试。此外，TiPToP利用预训练的视觉基础模型，减少了对特定任务数据的依赖，提高了系统的泛化能力。

关键设计：TiPToP的关键设计包括：1) 使用CLIP等预训练视觉模型进行零样本物体识别和姿态估计。2) 利用现有的TAMP框架，如PyBullet和MoveIt，进行任务和运动规划。3) 设计了简单的接口，方便用户定义新的操作任务和机器人形态。4) 采用模块化的架构，方便用户替换和修改各个模块。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TiPToP在28个桌面操作任务中进行了评估，结果表明，该系统在无需任何机器人数据的情况下，能够达到或超过在350小时特定机器人数据上微调的$π_{0.5} ext{-DROID}$模型的性能。对173次试验的分析揭示了系统的失效模式，为未来的改进提供了方向。

🎯 应用场景

TiPToP具有广泛的应用前景，可用于自动化装配、物流分拣、家庭服务机器人等领域。该系统降低了机器人操作任务的开发难度和数据需求，使得机器人能够更灵活地适应新的任务和环境。未来，TiPToP有望促进机器人技术在各行各业的普及应用。

📄 摘要（原文）

We present TiPToP, an extensible modular system that combines pretrained vision foundation models with an existing Task and Motion Planner (TAMP) to solve multi-step manipulation tasks directly from input RGB images and natural-language instructions. Our system aims to be simple and easy-to-use: it can be installed and run on a standard DROID setup in under one hour and adapted to new embodiments with minimal effort. We evaluate TiPToP -- which requires zero robot data -- over 28 tabletop manipulation tasks in simulation and the real world and find it matches or outperforms $π_{0.5}\text{-DROID}$, a vision-language-action (VLA) model fine-tuned on 350 hours of embodiment-specific demonstrations. TiPToP's modular architecture enables us to analyze the system's failure modes at the component level. We analyze results from an evaluation of 173 trials and identify directions for improvement. We release TiPToP open-source to further research on modular manipulation systems and tighter integration between learning and planning. Project website and code: https://tiptop-robot.github.io