HumanoidToolBench: Benchmarking Humanoid Tool Use from Selection to Mobile Execution
作者: Kyochul Jang, Seohyeon Park, Ohchul Kwon, Sangjun Park, Junhyeok Choi, Seungyeop Yi, Chaeyun Kim, Sangkyu Lee, Idan Szpektor, Avi Caciularu, Jongmin Park, Youngjae Yu
分类: cs.RO, cs.AI
发布日期: 2026-10-01
备注: 9 pages, 7 figures
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出HumanoidToolBench以解决人形机器人工具使用评估问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 人形机器人 工具使用 基准测试 任务执行 选择准确性 机器人评估 数据集 模拟环境
📋 核心要点
- 现有基准测试无法联合评估人形机器人在工具选择和任务执行中的能力，导致评估结果不全面。
- 论文提出HumanoidToolBench基准测试，涵盖多种场景和任务，旨在全面评估人形机器人工具使用的能力。
- 实验结果显示，选择合适工具与完成任务之间存在显著差距，尤其是在未见过的工具上选择准确性降低。
📝 摘要（中文）
随着机器人硬件和学习方法的进步，人形机器人需要工具来执行超出其固有物理限制的任务。成功的工具使用需要选择合适的工具并协调操作和移动以完成任务。现有基准测试未能在一个人形机器人上联合评估这些能力。我们介绍了HumanoidToolBench，这是一个涵盖三个场景、三个执行级别和两种工具集模式的18任务基准测试，以及ToolBook，一个在模拟和真实Unitree G1上收集的3.1k演示的数据集。对七种策略在模拟中的评估和对三种在真实机器人上的评估揭示了选择合适工具与完成任务之间的显著差距。聚焦于GR00T N1.7的探测显示，在未见过的工具上选择准确性降低，并在无关指令下继续任务执行。
🔬 方法详解
问题定义：本论文旨在解决人形机器人在工具使用中的评估问题，现有方法未能有效联合评估工具选择与任务执行的能力，导致评估结果片面。
核心思路：论文提出HumanoidToolBench基准测试，通过设计多样化的任务和场景，系统性地评估人形机器人在工具选择和执行中的表现，旨在填补现有研究的空白。
技术框架：整体架构包括18个任务，分为三个场景和三个执行级别，结合两种工具集模式。ToolBook数据集提供了3.1k个演示，支持在模拟和真实环境中的评估。
关键创新：最大的技术创新在于联合评估工具选择与任务执行的能力，提供了一个全面的评估框架，与现有方法相比，能够更好地反映人形机器人在实际应用中的表现。
关键设计：在实验中，采用了多种策略进行评估，特别关注GR00T N1.7的选择准确性，设置了不同的任务和工具集，以确保评估的全面性和准确性。实验中使用的损失函数和网络结构经过精心设计，以适应不同的任务需求。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在模拟环境中评估的七种策略与真实机器人上的三种策略之间存在显著差距，尤其是在选择未见过的工具时，选择准确性降低，任务执行的有效性受到影响。这一发现强调了在工具使用评估中考虑多样性的重要性。
🎯 应用场景
该研究的潜在应用领域包括人形机器人在家庭、医疗和工业等场景中的工具使用，能够提升机器人在复杂环境中的自主性和适应能力。未来，HumanoidToolBench可能成为人形机器人研究的标准基准，推动相关技术的发展和应用。
📄 摘要（原文）
As robotic hardware and learning methods advance, humanoids need tools to perform tasks beyond their inherent physical limits. Successful tool use requires selecting a suitable tool and coordinating manipulation and, when needed, locomotion to complete the task. Existing benchmarks do not jointly evaluate these capabilities on a humanoid. We introduce HumanoidToolBench, an 18-task benchmark spanning three scenarios, three execution levels, and two tool-set modes, together with ToolBook, a dataset of 3.1k demonstrations collected in simulation and on a real Unitree G1. Evaluation of seven policies in simulation and three on the real robot reveals substantial gaps between selecting a suitable tool and completing the task. Focused GR00T N1.7 probes show reduced selection accuracy on unseen tools and continued task execution under unrelated instructions. Code and data are available at https://snu-pi.github.io/HumanoidToolBench/.