RoboBenchMart: Benchmarking Robots in Retail Environment

📄 arXiv: 2511.10276v1 📥 PDF

作者: Konstantin Soshin, Alexander Krapukhin, Andrei Spiridonov, Denis Shepelev, Gregorii Bukhtuev, Andrey Kuznetsov, Vlad Shakhuro

分类: cs.RO, cs.AI

发布日期: 2025-11-13

💡 一句话要点

RoboBenchMart：面向零售环境的机器人操作基准测试平台

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 机器人操作 基准测试 零售环境 暗店 自动化

📋 核心要点

  1. 现有机器人操作基准测试过于简化，无法反映真实零售环境的复杂性，限制了算法的实际应用。
  2. RoboBenchMart通过构建更真实的暗店环境，提供多样化的物品和复杂的空间配置，来模拟零售场景。
  3. 实验表明，现有通用机器人模型在RoboBenchMart基准测试中表现不佳，突显了该基准测试的挑战性。

📝 摘要（中文）

现有的机器人操作基准测试主要集中在简化的桌面场景，通常涉及静态机器人手臂与平面上的各种物体交互。为了解决这一局限性，我们推出了RoboBenchMart，这是一个更具挑战性和现实性的基准测试，专为暗店环境设计，机器人必须使用各种杂货物品执行复杂的操纵任务。这种设置带来了巨大的挑战，包括密集的物体杂乱和不同的空间配置——物品位于不同的高度、深度和紧密的邻近区域。通过针对零售领域，我们的基准测试解决了一个具有近期自动化影响的设置。我们证明，当前最先进的通用模型难以解决常见的零售任务。为了支持进一步的研究，我们发布了RoboBenchMart套件，其中包括程序化商店布局生成器、轨迹生成管道、评估工具和微调的基线模型。

🔬 方法详解

问题定义：论文旨在解决现有机器人操作基准测试无法有效评估零售环境中机器人操作能力的问题。现有基准测试通常关注简单的桌面环境，忽略了零售环境中常见的物体杂乱、空间配置多样等挑战，导致在这些基准上表现良好的算法难以直接应用于实际零售场景。

核心思路：论文的核心思路是构建一个更具挑战性和现实性的零售环境基准测试平台，即RoboBenchMart。该平台通过模拟暗店环境，引入了各种杂货物品和复杂的空间配置，从而更真实地反映了零售场景中的机器人操作任务。

技术框架：RoboBenchMart包含以下主要模块：1) 程序化商店布局生成器，用于生成多样化的商店布局；2) 轨迹生成管道，用于生成机器人操作轨迹；3) 评估工具，用于评估机器人操作性能；4) 微调的基线模型，作为参考性能。整体流程是，首先使用布局生成器创建商店环境，然后使用轨迹生成管道生成机器人操作轨迹，最后使用评估工具评估机器人在该环境中的操作性能。

关键创新：RoboBenchMart的关键创新在于其对零售环境的真实模拟。与现有基准测试相比，RoboBenchMart引入了更复杂的物体杂乱、空间配置多样等因素，从而更准确地反映了零售场景中的挑战。此外，RoboBenchMart还提供了程序化商店布局生成器，可以生成多样化的商店环境，从而避免了基准测试的过拟合问题。

关键设计：RoboBenchMart的关键设计包括：1) 程序化商店布局生成器的参数设置，用于控制商店布局的多样性；2) 轨迹生成管道的设计，用于生成合理的机器人操作轨迹；3) 评估指标的设计，用于准确评估机器人操作性能；4) 基线模型的选择和微调，用于提供参考性能。

📊 实验亮点

论文通过实验证明，当前最先进的通用机器人模型在RoboBenchMart基准测试中表现不佳，表明该基准测试具有挑战性，能够有效区分不同算法的性能。具体而言，实验结果显示，现有模型在处理物体杂乱和空间配置多样等问题时存在明显不足，需要进一步改进。

🎯 应用场景

RoboBenchMart可用于评估和改进机器人操作算法在零售环境中的性能，推动零售自动化发展。该基准测试平台能够帮助研究人员开发更鲁棒、更高效的机器人操作系统，从而实现更智能化的零售服务，例如自动拣货、理货和库存管理。未来，该平台可以扩展到其他类似的应用场景，如仓库物流和家庭服务。

📄 摘要（原文）

Most existing robotic manipulation benchmarks focus on simplified tabletop scenarios, typically involving a stationary robotic arm interacting with various objects on a flat surface. To address this limitation, we introduce RoboBenchMart, a more challenging and realistic benchmark designed for dark store environments, where robots must perform complex manipulation tasks with diverse grocery items. This setting presents significant challenges, including dense object clutter and varied spatial configurations -- with items positioned at different heights, depths, and in close proximity. By targeting the retail domain, our benchmark addresses a setting with strong potential for near-term automation impact. We demonstrate that current state-of-the-art generalist models struggle to solve even common retail tasks. To support further research, we release the RoboBenchMart suite, which includes a procedural store layout generator, a trajectory generation pipeline, evaluation tools and fine-tuned baseline models.