ManiUnit: A Manipulation Skill Dataset and Benchmark for Long-Horizon Tasks
作者: Guoting Wei, Dawei Yan, Xia Yuan, Gengming Zhang, Yelin He, Guodong Du, Jiaquan Ye, Heng Zhang, Xinming Wei, Xianbiao Qi, Chunxia Zhao, Haokui Zhang, Rong Xiao
分类: cs.RO
发布日期: 2026-10-08
💡 一句话要点
提出ManiUnit以解决长时间移动操控任务中的技能评估问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长时间操控 技能评估 数据集构建 机器人导航 多模态学习
📋 核心要点
- 现有方法在长时间操控任务中面临技能选择模糊、状态偏差和任务级指标限制等挑战。
- ManiUnit通过构建一个包含丰富操控技能的数据集和基准，解决了技能评估的独立性和准确性问题。
- 实验结果显示，基于ManiUnit训练的技能在局部操控成功率上显著高于传统任务策略，提升幅度达到29.4%。
📝 摘要（中文）
长时间移动操控要求机器人在多房间环境中导航并执行一系列操控技能，且需在单一自然语言指令下完成。学习和评估这些技能面临三大挑战：固定任务指令下的观察相似性导致技能选择模糊；即使前一个技能成功，后续技能的执行也可能因状态偏差而受影响；任务级指标限制了技能特定的诊断。为此，本文提出了ManiUnit，一个基于50个BEHAVIOR-1K活动构建的操控技能数据集和基准，包含137,899个片段、21种技能类型和417个子任务。该基准通过明确的子任务指令、对机器人起始状态的敏感性测量以及中间状态的恢复，确保每个技能的独立评估。实验表明，基于ManiUnit训练的技能在长时间活动中的局部操控成功率达到78.7%。
🔬 方法详解
问题定义：本论文旨在解决长时间移动操控任务中技能选择模糊、状态偏差和任务级指标限制等问题。现有方法在这些方面存在不足，导致技能评估不准确。
核心思路：论文提出ManiUnit，通过构建一个包含多样化操控技能的数据集和基准，明确每个技能的子任务指令，确保技能评估的独立性和准确性。
技术框架：ManiUnit的整体架构包括数据集构建、基准测试和技能评估三个主要模块。数据集涵盖137,899个片段，基准测试包含1,260个测试实例，评估过程中恢复中间状态以便独立评估技能。
关键创新：ManiUnit的最大创新在于其明确的子任务指令和对机器人起始状态的敏感性测量，使得每个技能可以在不依赖前置技能的情况下进行评估。这一设计与现有方法的本质区别在于提供了更高的评估独立性。
关键设计：在参数设置上，ManiUnit通过定义局部成功条件和恢复中间模拟器状态，确保技能评估的准确性。此外，针对起始状态的扰动进行了详细的敏感性分析，揭示了状态偏差对执行成功率的影响。
🖼️ 关键图片
📊 实验亮点
在实验中，基于ManiUnit训练的技能在长时间活动中的局部操控成功率达到78.7%，而传统任务策略的成功率仅为49.3%。通过协调任务和技能策略，完整任务的成功率从4.0%提升至18.0%，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和家庭助理等。通过提高机器人在复杂环境中的操控能力，ManiUnit能够推动智能机器人在实际应用中的广泛部署，提升人机交互的效率和安全性。未来，该研究可能影响机器人学习和评估的标准，促进相关技术的发展。
📄 摘要（原文）
Long-horizon mobile manipulation requires a robot to navigate multi-room environments and execute a sequence of manipulation skills under a single natural language instruction. Learning and evaluating these skills present three challenges: similar observations under a fixed task instruction may make skill selection ambiguous; even when a preceding skill succeeds, the robot state inherited by the next skill may deviate from its demonstrated starting states and affect execution; and task-level metrics hinder skill-specific diagnosis, while early failures leave later skills untested. We therefore introduce ManiUnit, a manipulation skill dataset and benchmark built from 50 BEHAVIOR-1K activities. Its dataset contains 137,899 segments across 21 skill types and 417 subtasks, and its benchmark contains 1,260 test instances. Correspondingly, ManiUnit pairs each segment with an explicit subtask instruction; measures sensitivity to perturbations of the robot's starting base position or joint configuration; and restores intermediate simulator states and defines local success conditions so that each skill can be evaluated without executing preceding stages. Evaluations of representative vision-language-action (VLA) policies show that similar aggregate scores can hide substantial per-skill differences. The tested starting-state perturbations also degrade execution: on the full benchmark, joint perturbations reduce success rates by approximately 56% relative to those from demonstrated starting states. On two long-horizon activities, a skill policy trained on ManiUnit segments achieves 78.7% local manipulation success, compared with 49.3% for a task policy trained on complete demonstrations. The trained skills further support complete-task execution on these activities, as coordinating the task and skill policies through a planner raises full-task success from 4.0% to 18.0%.