Toward Visually Realistic Simulation: A Benchmark for Evaluating Robot Manipulation in Simulation

📄 arXiv: 2605.06311v1 📥 PDF

作者: Yixin Zhu, Zixiong Wang, Jian Yang, Jin Xie, Jingyi Yu, Jiayuan Gu, Beibei Wang

分类: cs.RO

发布日期: 2026-05-07

💡 一句话要点

VISER：面向视觉真实感仿真的机器人操作评估基准

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操作 仿真评估 视觉真实感 领域自适应 多模态学习

📋 核心要点

  1. 现有机器人操作仿真基准缺乏视觉真实感，导致仿真与现实存在较大差距，影响了仿真评估的可靠性。
  2. 论文提出VISER，一个视觉真实感机器人操作评估基准，包含高保真3D资产和多样化评估任务。
  3. VISER通过系统分析光照和材质的影响，并利用MLLM自动生成物理上合理的资产，实现了仿真与现实性能的高度相关性。

📝 摘要（中文）

可靠的机器人操作策略仿真评估是真实世界性能的高保真代理。虽然现有基准涵盖了广泛的任务类别，但它们缺乏视觉真实感，导致仿真与现实之间存在巨大的领域差距。这削弱了基于仿真的评估在预测真实世界性能方面的可靠性。为了缓解sim-to-real的视觉差距，我们进行了一项系统分析，以分离光照和材料的影响。我们的结果表明，这些因素在几何推理和空间定位中起着关键作用，但在现有基准中却在很大程度上被忽视。受此分析的启发，我们提出了VISER，这是一个用于评估仿真中机器人操作的视觉真实基准。VISER包含一个超过1000个3D资产的高保真数据集，这些资产具有基于物理的渲染（PBR）材料，以及通过策划布局或生成从这些资产创建的3D场景。为此，我们提出了一个自动化的流程，利用多模态大型语言模型（MLLM）进行材料感知的零件分割和材料检索，从而实现物理上合理的资产的可扩展生成。基于高保真3D资产数据集，我们构建了多样化的评估任务，例如抓取、放置和长时程任务，从而能够对视觉-语言-动作（VLA）模型进行可扩展和可重复的评估。我们的基准表明仿真和真实世界性能之间存在很强的相关性，在不同的策略中实现了平均0.92的Pearson相关系数。

🔬 方法详解

问题定义：现有机器人操作仿真基准在视觉真实感方面存在不足，导致仿真环境与真实环境存在较大差异。这种差异使得在仿真环境中训练和评估的机器人策略难以直接迁移到真实世界中，降低了仿真评估的有效性和可靠性。现有方法未能充分考虑光照和材质对几何推理和空间定位的影响，从而忽略了视觉真实感的重要性。

核心思路：论文的核心思路是通过构建一个视觉真实感更高的仿真环境来缩小仿真与现实之间的差距。具体而言，论文通过系统分析光照和材质对机器人操作的影响，并利用基于物理的渲染（PBR）技术来生成具有真实感视觉效果的3D资产。此外，论文还提出了一个自动化的流程，利用多模态大型语言模型（MLLM）来辅助3D资产的生成，从而实现大规模构建视觉真实感仿真环境的目标。

技术框架：VISER的整体框架包括以下几个主要模块：1) 高保真3D资产数据集构建：利用PBR材质创建超过1000个3D资产；2) 场景生成：通过人工设计或自动生成的方式，将3D资产组合成不同的场景；3) 任务定义：定义一系列机器人操作任务，如抓取、放置和长时程任务；4) 评估指标：设计用于评估机器人策略性能的指标；5) MLLM辅助资产生成：利用MLLM进行材料感知的零件分割和材料检索，从而实现物理上合理的资产的可扩展生成。

关键创新：论文的关键创新在于：1) 系统分析了光照和材质对机器人操作的影响，强调了视觉真实感的重要性；2) 提出了一个自动化的流程，利用MLLM来辅助3D资产的生成，从而实现大规模构建视觉真实感仿真环境的目标；3) 构建了一个包含高保真3D资产和多样化评估任务的视觉真实感机器人操作评估基准VISER。

关键设计：在3D资产的创建中，使用了基于物理的渲染（PBR）材质，以模拟真实世界的光照和材质效果。在场景生成中，采用了人工设计和自动生成相结合的方式，以保证场景的多样性和合理性。在MLLM辅助资产生成中，使用了材料感知的零件分割和材料检索技术，以保证生成资产的物理合理性。具体使用的MLLM模型和训练细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VISER基准能够有效评估机器人操作策略的性能，并且仿真结果与真实世界性能之间存在很强的相关性。具体而言，在不同的机器人策略中，VISER基准实现了平均0.92的Pearson相关系数。这表明VISER基准能够作为真实世界性能的高保真代理，为机器人操作策略的开发和评估提供可靠的依据。

🎯 应用场景

该研究成果可广泛应用于机器人操作策略的仿真评估、视觉-语言-动作模型的训练和评估、以及虚拟现实和增强现实等领域。通过VISER基准，研究人员可以更有效地开发和评估机器人操作策略，从而加速机器人在真实世界中的应用。此外，该研究提出的MLLM辅助资产生成方法，可以降低构建视觉真实感仿真环境的成本，促进相关技术的发展。

📄 摘要（原文）

Reliable simulation evaluation of robot manipulation policies serves as a high-fidelity proxy for real-world performance. Although existing benchmarks cover a wide range of task categories, they lack visual realism, creating a large domain gap between simulation and reality. This undermines the reliability of simulation-based evaluation in predicting real-world performance. To mitigate the sim-to-real visual gap, we conduct a systematic analysis to isolate the effects of lighting and material. Our results show that these factors play a critical role in geometric reasoning and spatial grounding, yet are largely overlooked in existing benchmarks. Motivated by the analysis, we propose VISER, a visually realistic benchmark for evaluating robot manipulation in simulation. VISER features a high-fidelity dataset of over 1,000 3D assets with physically-based rendering (PBR) materials, along with 3D scenes created from these assets through curated layouts or generation. To this end, we propose an automated pipeline leveraging Multi-modal Large Language Models (MLLMs) for material-aware part segmentation and material retrieval, enabling scalable generation of physically plausible assets. Building on the high-fidelity 3D asset dataset, we construct diverse evaluation tasks, such as grasping, placing, and long-horizon tasks, enabling scalable and reproducible assessment of Vision-Language-Action (VLA) models. Our benchmark shows a strong correlation between simulation and real-world performance, achieving an average Pearson correlation coefficient of 0.92 across different policies.