FineART: Fine-grained Annotated Robotic Trajectory Dataset and Vision-Language-Action Model for Bimanual Manipulation

📄 arXiv: 2609.36416v1 📥 PDF

作者: Jade Choghari, Pepijn Kooijmans, Mansi Agarwal, Yusuf Umut Ciftci, Aseem Doriwala, Catherine Weaver, Mouli Sivapurapu, Kai Yang, Jackson Lee, Thomas Wolf, Pragna Mannam

分类: cs.RO, cs.AI, cs.CV, cs.LG

发布日期: 2026-09-29

备注: 26 pages. Code and model weights will be integrated into Hugging Face LeRobot https://github.com/huggingface/lerobot

💡 一句话要点

提出FineART数据集与模型以解决双手操作任务的复杂性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 双手操作 机器人学习 多步骤任务 数据集 视觉-语言-动作模型 自我预测 任务泛化

📋 核心要点

  1. 现有的操作数据集在支持复杂的多步骤双手任务方面存在不足，通常只提供单一高层指令。
  2. 本文提出FineART数据集和FineART-VLA模型，通过密集标注和视觉-语言-动作策略来提升双手操作的能力。
  3. 实验结果显示，FineART-VLA在多个任务上显著提升了成功率，并且在新硬件上具有良好的泛化能力。

📝 摘要（中文）

在现实环境中，机器人需要执行复杂的多步骤双手操作任务，而现有的数据集往往无法支持这一能力。虽然单臂数据集有数十万条轨迹，但通常每个任务仅提供一个高层指令。本文提出了FineART，一个密集标注的双手操作数据集，包含40,543个任务、1,718小时和533,913个子任务，覆盖151个任务。同时，我们引入了FineART-VLA，一个视觉-语言-动作策略，能够预测下一个子任务，并显示出显著的训练提升。具体而言，空间消歧任务的成功率从32.0%提升至100.0%，而在未见长时间任务上的成功率从16.0%提升至76.0%。此外，在新机器人上进行最小微调后，该策略所需数据仅为基线的十分之一，并能够零-shot泛化到全新任务。我们开源了完整的数据集、模型权重和训练代码。

🔬 方法详解

问题定义：本文旨在解决机器人在复杂双手操作任务中的数据不足和训练效率低的问题。现有方法通常只提供单一的高层指令，无法有效支持多步骤任务的执行。

核心思路：通过构建FineART数据集，提供丰富的子任务标注，并引入FineART-VLA模型，使其能够在训练过程中自我预测下一个子任务，从而提升任务执行的成功率和效率。

技术框架：FineART数据集包含40,543个任务和533,913个子任务，FineART-VLA模型则结合了视觉输入、语言指令和动作决策，形成一个闭环的训练流程。模型在训练过程中通过中途训练策略不断优化其预测能力。

关键创新：最重要的创新在于FineART数据集的密集标注和FineART-VLA模型的自我预测能力，这使得机器人能够在复杂任务中更好地理解和执行子任务，显著提升了成功率。

关键设计：在模型设计中，采用了特定的损失函数来优化子任务预测的准确性，并通过中途训练策略实现了训练过程中的动态调整，确保模型能够快速适应新环境。具体的网络结构和参数设置在论文中详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FineART-VLA模型在空间消歧任务上的成功率从32.0%提升至100.0%，而在未见长时间任务上的成功率从16.0%提升至76.0%。此外，模型在新机器人上的微调仅需十分之一的数据，展现出良好的泛化能力。

🎯 应用场景

该研究的潜在应用领域包括智能家居、工业自动化和服务机器人等。通过提升机器人在复杂双手操作任务中的能力，FineART数据集和模型能够为实际应用提供更高的灵活性和效率，推动机器人技术的进一步发展。

📄 摘要（原文）

Robots operating in real-world environments must execute complex, multi-step bimanual tasks over long horizons rather than single, isolated actions. Current manipulation datasets struggle to support this capability: although single-arm datasets reach hundreds of thousands of trajectories, they typically provide only one high-level instruction per episode while the rare bimanual effort that does label subtasks annotates only a fraction of its hours. We present FineART, a densely annotated bimanual manipulation dataset of 40,543 episodes, 1,718 hours, and 533,913 subtasks across 151 tasks. We also introduce FineART-VLA, a vision-language-action policy that predicts its own next subtask, and show that mid-training it this way yields substantial gains. Specifically, success on a spatial disambiguation task increases from 32.0% to 100.0%, and step-by-step human subtask guidance lifts success on an unseen long-horizon task from 16.0% to 76.0%. Furthermore, after minimal fine-tuning on a new robot, the policy requires one-tenth the data of baselines without mid-training and generalizes zero-shot to completely unseen tasks on the new hardware. We open-source the full dataset, model weights, and training code.