IMBench: A Benchmark for Intuitive Robotic Manipulation

📄 arXiv: 2607.15641 📥 PDF

作者: Anurag Maurya, Sukhvansh Jain, Prajwal Avhad, Gautham Balachandran, Ziyi Zhou, Atharva Kshirsagar, Satyam Singh, Bowen Li. Rishabh Mukund, Ritul Singh, Jatin Vira, Suvonil Chatterjee, Devesh K. Jha

分类: cs.RO, cs.AI

发布日期: 2026-07-20

💡 一句话要点

提出IMBench以解决直观机器人操控能力评估问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操控 物理推理 动作生成 多模态评估 智能自动化

📋 核心要点

  1. 现有基准测试未能有效整合物理推理与执行，导致机器人在复杂操控任务中的表现不足。
  2. IMBench通过设计一个综合评估框架，要求模型在明确约束下推断物理结构并生成可行的动作序列。
  3. 实验显示，现有视觉语言模型在物理推理上表现有限，而最先进的视觉-语言-动作模型在满足任务约束和场景泛化方面存在困难。

📝 摘要（中文）

人类通过推理与运动控制结合来解决复杂的操控任务，形成对物理世界的理解，从而将推理转化为行动，并快速适应新场景、任务和规则。现有基准测试未能捕捉这种整合能力，IMBench作为一个新基准，旨在评估直观操控能力，涵盖感知、物理推理、动作生成和迭代执行。该基准包含35个任务、14K个过滤轨迹以及生成多样场景的可扩展工具。实验结果表明，现有模型在物理推理和执行计划方面存在明显差距，IMBench为评估和促进更综合、适应性强的物理智能奠定了基础。

🔬 方法详解

问题定义：本论文旨在解决现有基准测试未能有效评估机器人直观操控能力的问题。现有方法往往将物理推理与执行分开，无法真实反映机器人在复杂环境中的表现。

核心思路：IMBench的核心思路是将物理推理与动作生成整合为一个统一的评估框架，要求模型在执行任务时同时考虑感知和推理。通过这种设计，模型能够在明确的物理约束下生成可执行的动作序列。

技术框架：IMBench的整体架构包括任务定义、物理结构推断、动作生成和执行四个主要模块。每个模块相互关联，形成一个闭环，确保模型在执行过程中能够实时调整和优化。

关键创新：IMBench的最大创新在于其综合评估直观操控能力的能力，填补了现有基础模型和通用机器人策略中的空白。与传统方法相比，IMBench强调了物理推理与执行之间的紧密联系。

关键设计：在设计过程中，IMBench引入了35个任务和14K个过滤轨迹，采用了多样化的场景生成工具。关键参数设置和损失函数的设计旨在确保模型在多种约束条件下的表现，提升其适应性和泛化能力。

📊 实验亮点

实验结果显示，视觉语言模型在物理推理方面表现出一定能力，但在生成可执行计划时存在不足。而最先进的视觉-语言-动作模型在满足任务约束和场景泛化方面的表现也不尽如人意。这些发现突显了IMBench在评估直观操控能力方面的重要性。

🎯 应用场景

IMBench的研究成果在多个领域具有潜在应用价值，包括服务机器人、工业自动化和智能家居等。通过提升机器人在复杂环境中的操控能力，IMBench能够促进更智能的自动化解决方案，推动机器人技术的实际应用和发展。

📄 摘要（原文）

Humans combine reasoning and motor control to solve complex manipulation tasks under diverse constraints. They build an understanding of the physical world that helps them convert reasoning into actions and quickly adapt to new scenes, tasks, and rules. We refer to this capability as intuitive manipulation. Existing benchmarks fail to capture this integration: they evaluate physical reasoning in isolation from execution, or measure policy performance without requiring explicit reasoning. We introduce IMBENCH, a benchmark designed to evaluate intuitive manipulation as an integrated capability spanning perception, physical reasoning, action generation, and iterative execution. Our tasks require models to infer task-relevant physical structure and generate feasible action sequences under explicit constraints, including contact-rich manipulation, tool use, and multi-stage dependencies. We introduce a benchmark of 35 tasks, 14K filtered trajectories, and scalable tools for generating diverse scenarios. Experiments reveal a consistent gap: vision language models show partial physical reasoning ability but fail to produce executable plans, while state-of-the-art vision-language-action models struggle to satisfy task constraints and generalize across scenarios. These results identify intuitive manipulation as a missing axis in current foundation models and generalist robot policies, and position IMBENCH as a step toward evaluating and enabling more integrated, adaptive physical intelligence.