ManiPhysicsBench: Physics-Based Assessment of Object Preservation in VLA Manipulation
作者: Sangwu Park, Yeonjun In, Wonjoong Kim, Sungwon Kim, Sein Kim, Chanyoung Park
分类: cs.RO
发布日期: 2026-10-02
备注: Preprint
💡 一句话要点
提出ManiPhysicsBench以评估VLA操作中的物体保护问题
🎯 匹配领域: 支柱一:机器人控制 (Robot Control) 支柱九:具身大模型 (Embodied Foundation Models)
关键词: 物体保护 视觉-语言-动作 损伤评估 机器人抓取 自动化
📋 核心要点
- 现有的VLA模型在执行任务时未能有效评估物体的保护情况,导致任务成功与物体保护之间存在显著差距。
- 本文提出ManiPhysicsZoo,通过整合材料属性和3D网格,构建可重用的物体资产,并基于这些资产进行损伤阈值的求解评估。
- 实验结果表明,经过重新训练的VLA模型在物体依赖的抓取上表现更佳,安全成功率提高,但任务成功率下降,且物体保护行为的泛化能力有限。
📝 摘要(中文)
视觉-语言-动作(VLA)模型旨在执行多样化的操作任务,但现有的刚体基准测试并不能表明它们是否能保护物体。本文引入了ManiPhysicsZoo,整合了文献支持的材料属性、3D网格和相关参考文献,形成可重用的物体资产。基于这些资产,使用求解器评估计算特定抓取的损伤阈值,并与记录的接触力进行比较,以评估潜在的变形和断裂。ManiPhysicsBench在LIBERO和SimplerEnv中评估物体保护,涵盖三个物理轴和三个难度级别。公开的VLA检查点显示任务成功与安全成功之间存在显著差距,后者定义为在保护物体的情况下完成任务。
🔬 方法详解
问题定义:本文旨在解决现有VLA模型在物体操作中未能有效保护物体的问题。现有方法的痛点在于任务成功并不等同于物体保护,缺乏对物体损伤的评估机制。
核心思路:论文的核心思路是通过构建ManiPhysicsZoo,整合材料属性和3D网格,利用求解器评估抓取过程中的损伤阈值,从而实现对物体保护的评估。
技术框架:整体架构包括三个主要模块:物体资产库(ManiPhysicsZoo)、损伤评估求解器和VLA模型评估平台(ManiPhysicsBench)。物体资产库提供了丰富的物体信息,损伤评估求解器计算损伤阈值,评估平台则用于测试和比较不同模型的表现。
关键创新:最重要的技术创新在于引入了基于物体几何、材料属性和抓取条件的损伤阈值计算方法,与现有方法相比,能够更全面地评估物体在操作过程中的保护情况。
关键设计:在设计中,采用了特定的损失函数来优化抓取策略,并通过物体特定的连续抓取标签来调整模型行为,确保模型在物体保护方面的表现更为出色。具体参数设置和网络结构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示,经过重新训练的VLA模型在物体依赖的抓取上表现出更高的安全成功率,尽管任务成功率有所下降。具体而言,安全成功率提高了XX%,而任务成功率降低了YY%。这一结果表明,物体保护与任务成功之间的权衡关系。
🎯 应用场景
该研究的潜在应用领域包括机器人抓取、自动化生产线和人机交互等场景。通过提高VLA模型在物体保护方面的能力,可以有效减少物体损坏,提高操作安全性和效率,具有重要的实际价值和未来影响。
📄 摘要(原文)
Vision-language-action (VLA) models aim to perform diverse manipulation tasks, but task success in existing rigid-body benchmarks does not indicate whether they preserve objects. We introduce ManiPhysicsZoo, which consolidates literature-supported material properties, 3D meshes, and supporting references into reusable object assets. Using these assets, a solver-based assessment computes grasp-specific damage thresholds from object geometry, material properties, and recorded grasp conditions and compares them with recorded contact forces to assess potential deformation and fracture. Building on these components, ManiPhysicsBench evaluates object preservation in LIBERO and SimplerEnv across three physics axes and three difficulty levels. Public VLA checkpoints show a substantial gap between task success and safe success, defined as task completion while preserving the object. Their gripper commands concentrate near full opening and closure, with largely similar aggregate distributions across objects, consistent with binary gripper supervision. We examine how object-specific continuous gripper labels change model behavior by retraining a VLA model. The retrained model shows more object-dependent gripping and higher safe success, but lower task success and limited generalization of object-preserving behavior.