LADDER: A Long-Horizon Robot Manipulation Benchmark

📄 arXiv: 2610.18053v1 📥 PDF

作者: Petko Petkov, Giuliano Albanese, Nikolay Nikolov, Luc Van Gool, Jonathan Tremblay, Danda Pani Paudel

分类: cs.RO, cs.LG

发布日期: 2026-10-13

备注: 30 pages. Project website: https://ladder.insait.ai

💡 一句话要点

提出LADDER基准以解决长时间机器人操作任务的挑战

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 长时间任务 机器人操作 基准评估 子目标设置 调度方法 性能提升

📋 核心要点

  1. 现有的机器人操作策略在短期任务中表现良好，但在长时间任务中效果显著下降，难以满足实际应用需求。
  2. 本文提出LADDER基准，通过设置多个子目标来评估机器人在长时间任务中的表现，旨在隔离和分析失败原因。
  3. 实验结果表明，低级策略在单子目标任务中表现良好，但在长时间任务中表现不佳，工具选择调度方法显著提升了成功率。

📝 摘要（中文）

通用机器人操作策略在短期技能学习上表现良好，但在长时间任务中迅速退化。现有基准无法有效隔离失败，因任务时间过短或与场景和物体变化交织。本文提出LADDER，一个长时间机器人操作基准，涵盖1到10个子目标，包含145个任务、八个类别、两个体现和每个系统2,024个模拟实验。我们评估了两种调度范式：文本子目标与工具选择调度。尽管低级策略在单子目标任务中达到85.4%的成功率，但在扩展任务中几乎降至零。工具选择调度在GPT-Policy下显著优于学习策略方法，但成功率仅为约62%。

🔬 方法详解

问题定义：本文旨在解决现有机器人操作策略在长时间任务中的退化问题，现有基准无法有效隔离失败原因，导致评估不准确。

核心思路：提出LADDER基准，通过在相同环境中设置1到10个子目标，评估机器人在长时间任务中的表现，帮助识别和分析失败。

技术框架：LADDER基准包含三个环境套件（SimplerEnv-Long、RobotArena-$$-Long和RoboLab-Long），涵盖145个任务和2,024个模拟实验，评估两种调度范式。

关键创新：LADDER基准通过引入多子目标的设置，显著提升了对长时间任务的评估能力，与现有方法相比，能够更好地隔离和分析失败原因。

关键设计：在实验中，低级策略在单子目标任务中成功率为85.4%，但在扩展任务中降至接近零。工具选择调度方法（如GPT-Policy）在性能上优于学习策略方法，但成功率仍仅为约62%。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，低级策略在单子目标任务中成功率达到85.4%，但在长时间任务中几乎降至零。工具选择调度方法在GPT-Policy下显著提升性能，成功率约为62%，展示了调度方法在复杂任务中的有效性。

🎯 应用场景

该研究的潜在应用领域包括工业机器人、服务机器人和自主系统等，能够帮助提升机器人在复杂环境中的操作能力，推动机器人技术在实际场景中的应用和发展。

📄 摘要（原文）

General-purpose robot manipulation policies learn short-horizon skills effectively, but degrade rapidly on long-horizon tasks. Existing benchmarks cannot isolate failures because task horizon is either too short or entangled with scene and object variations. We propose LADDER, a long-horizon robot manipulation benchmark scaling from 1 to 10 subgoals within the same environment over three suites (SimplerEnv-Long, RobotArena-$\infty$-Long, and RoboLab-Long), 145 tasks, eight categories, two embodiments, and 2,024 simulated episodes per system. We evaluate two orchestration paradigms: text subgoals for learned low-level policies (VoLo) and tool selection orchestration (CaP-X, GPT-Policy, PSP-Agent, TiPToP). Given the full instruction directly, low-level policies achieve 85.4% on single-subgoal tasks, but drop to near zero on extended tasks. While orchestration remedies this, it remains bounded by physical execution errors of the low-level policy rather than high-level planning and achieves only ~25%. Tool selection orchestration with GPT-Policy on GPT-6 Astra significantly outperforms learned-policy methods, but incurs significant time and cost budget and succeeds only ~62%. Real-world experiments across two embodiments confirm the collapse of the low-level policy and the gain from orchestration. Project website: https://ladder.insait.ai