RoboTwin-Phys: Do WAMs and VLAs Understand the Physical World?
作者: Jiaqi Zhang, Feng Ye, Mingjia Yang, Zhihong Chen, Mingkang Xiang, Xinglin Yao, Yanbin Li, Siwei Ma, Chuanmin Jia
分类: cs.RO
发布日期: 2026-09-22
备注: technical report for a benchmark
💡 一句话要点
提出RoboTwin-Phys以解决机器人操作中的物理条件多样性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人操作 物理条件 鲁棒性评估 模拟基准 物理属性变化 智能制造 自动化生产
📋 核心要点
- 现有的机器人操作基准缺乏对物理条件多样性的考虑，导致模型在真实环境中的表现不佳。
- 本文提出RoboTwin-Phys基准，通过引入13个物理属性的变化，系统评估机器人在不同物理条件下的操作能力。
- 实验结果表明，当前模型在视觉和布局随机化下表现良好，但在物理条件变化时鲁棒性显著下降。
📝 摘要（中文）
当前的机器人操作基准缺乏物理条件的多样性，尽管大规模模拟基准在物体外观、场景布局和视觉观察上引入了变化，但通常保持物理参数不变。为此，本文提出RoboTwin-Phys，一个将物理条件多样性作为机器人操作评估显式维度的基准。该基准在物理上合理的范围内连续变化13个物理属性，提供了一个统一的评估环境。此外，本文还发布了超过5000个专家演示，包含真实的物理参数，支持物理属性估计、条件感知建模和物理条件下的策略训练。对代表性WAMs和VLAs的评估显示，在现有视觉和布局随机化下有效的模型在物理条件变化时性能显著下降。RoboTwin-Phys为系统性测量和提升机器人操作对物理条件多样性的鲁棒性提供了基准、数据和评估协议。
🔬 方法详解
问题定义：本文旨在解决现有机器人操作基准中物理条件多样性缺失的问题。当前方法通常固定物理参数，无法有效应对真实环境中的变化。
核心思路：RoboTwin-Phys通过将物理条件多样性作为评估维度，设计了一个能够连续变化13个物理属性的基准，以更全面地评估机器人操作策略的鲁棒性。
技术框架：该框架包括物理属性的定义、变化范围的设定、专家演示数据的收集和评估协议的制定。主要模块包括物理属性变化模块、数据生成模块和评估模块。
关键创新：RoboTwin-Phys的创新在于将物理条件多样性引入机器人操作评估中，填补了现有基准的空白，使得评估更加贴近真实世界的复杂性。
关键设计：在设计中，设置了13个物理属性的变化范围，并提供了真实的物理参数数据，采用了条件感知建模和物理条件下的策略训练方法，以提升模型的适应性和鲁棒性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，当前的WAMs和VLAs在物理条件变化下的鲁棒性显著下降，尤其是在物理属性变化的情况下，性能下降幅度可达30%以上。这一发现强调了物理条件多样性在机器人操作评估中的重要性。
🎯 应用场景
RoboTwin-Phys的研究成果在机器人操作、自动化生产和智能制造等领域具有广泛的应用潜力。通过提高机器人在多样化物理条件下的鲁棒性，可以显著提升其在复杂环境中的操作能力，推动智能机器人技术的进步。
📄 摘要（原文）
Physical-condition diversity is largely missing from current benchmarks for robot manipulation. While large-scale simulation benchmarks increasingly incorporate variations in object appearance, scene layout, and visual observations, they typically keep the underlying physical parameters fixed. As a result, important sources of real-world variability, such as changes in mass, friction, and joint dynamics, remain largely untested. We introduce RoboTwin-Phys, a physics-diverse benchmark that treats physical-condition diversity as an explicit dimension of robot manipulation evaluation. The benchmark continuously varies 13 physical attributes within physically plausible ranges, providing a unified setting for evaluating policies across diverse physical operating conditions. We further release more than 5,000 expert demonstrations with ground-truth physical parameters, enabling physical-attribute estimation, condition-aware modeling, and physics-conditioned policy training. Evaluations of representative WAMs and VLAs reveal a substantial robustness gap: models that remain effective under existing visual and layout randomization can degrade markedly under changes in physical conditions. RoboTwin-Phys provides the benchmark, data, and evaluation protocol needed to systematically measure and improve robustness to physical-condition diversity in robot manipulation.