TANDEM: Task and Motion Planning with As-Needed Demonstrations for Efficient Vision-Language-Action Model Fine-tuning

📄 arXiv: 2609.28314v1 📥 PDF

作者: Samrat Sahoo, Liang Ji, Tom Silver, Yixuan Huang

分类: cs.RO

发布日期: 2026-09-23

备注: Under review. Project page: https://prpl-group.com/tandem/. The first two authors contributed equally

💡 一句话要点

提出TANDEM以解决机器人演示数据收集效率低下问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 任务与运动规划 人类遥控 机器人演示 视觉-语言模型 长时间操作 数据收集效率 模型微调

📋 核心要点

  1. 现有方法在机器人演示数据收集上效率低下，导致人类操作员需耗费大量时间进行重复性演示。
  2. TANDEM通过结合任务与运动规划与人类遥控，按需收集超出规划者能力的演示，提升数据收集效率。
  3. 在实验中，TANDEM在相同的人类干预时间内收集的演示数量显著增加，且微调后任务成功率大幅提升。

📝 摘要（中文）

人类遥控操作员在演示机器人行为时耗费大量时间，而这些行为机器人本可以自主完成，限制了机器人基础模型的数据收集规模。任务与运动规划（TAMP）可以自动化许多行为，但固定的规划域可能无法支持长时间操作任务的每个阶段。本文提出TANDEM（按需演示的任务与运动规划），结合TAMP与选择性人类遥控，收集超出规划者能力的任务演示。TANDEM利用预训练的视觉-语言模型，根据语言指令和视觉观察扩展规划域，允许自主与人类执行阶段交替进行。实验表明，TANDEM在五个长时间操作任务中收集的演示数量是全任务遥控的2.9倍，且在20个演示的微调后，任务成功率从0%提升至60%。

🔬 方法详解

问题定义：本论文旨在解决机器人在长时间操作任务中，现有任务与运动规划（TAMP）方法无法支持所有阶段的问题。现有方法依赖于固定的规划域，限制了机器人自主执行复杂任务的能力。

核心思路：TANDEM的核心思路是将人类的辅助操作视为按需规划能力，通过结合预训练的视觉-语言模型，扩展规划域以支持更复杂的任务。这样设计的目的是为了减少人类干预的频率，提高数据收集的效率。

技术框架：TANDEM系统包括多个模块：首先接收语言指令和视觉输入，然后通过预训练模型扩展规划域，接着进行自主规划与人类执行阶段的交替，最后在每个阶段后重新感知场景以验证效果。

关键创新：TANDEM的主要创新在于其按需演示的能力，允许在规划过程中动态引入人类执行的操作，从而打破了传统方法的局限性，提升了任务的灵活性和效率。

关键设计：在设计中，TANDEM使用了特定的损失函数来对齐规划生成的动作与目标模型的预训练分布，同时在每次人类执行后，系统会重新评估场景，确保任务的连续性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，TANDEM在一个代表性的长时间操作任务中，收集的演示数量是全任务遥控的2.9倍。通过对预训练的π_{0.5}-DROID模型进行微调，任务成功率从0%提升至60%，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、工业自动化和人机协作等场景。通过提高机器人在复杂任务中的自主能力，TANDEM可以显著降低人类操作员的负担，提升机器人系统的整体效率和适应性，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Human teleoperators spend substantial time demonstrating behaviors that robots can already perform autonomously, limiting the scalability of data collection for robot foundation models. Task and motion planning (TAMP) can automate many of these behaviors, but a fixed planning domain may not support every stage of a long-horizon manipulation task. We present TANDEM (Tamp with As-Needed Demonstrations for Efficient Model fine-tuning), a system that combines TAMP with selective human teleoperation to collect demonstrations for tasks beyond the planner's capabilities. Our key idea is to represent human assistance as an on-demand planning capability. Given a language instruction and visual observation, TANDEM uses pretrained vision-language models to extend the planning domain with missing predicates and human-executed magic operators. This allows the planner to interleave autonomous and human-executed stages without task-specific intervention points. After each human stage, TANDEM re-perceives the scene and checks whether the intended effects hold before resuming autonomous planning. To support fine-tuning vision-language-action (VLA) models, TANDEM also uses example pretraining trajectories to align planner-generated motions with the target model's pretraining distribution. We evaluate TANDEM on five long-horizon manipulation tasks beyond the TAMP domain's capabilities. On a representative long-horizon task, TANDEM collects 2.9x as many demonstrations as full-task teleoperation at the same human intervention time. Fine-tuning a pretrained π_{0.5}-DROID model on 20 TANDEM demonstrations per task increases average task success from 0% to 60% across the five tasks.