YUBI-Real2Sim: 3DGS Scene Verification for Reliable Policy Evaluation

📄 arXiv: 2610.17521v1 📥 PDF

作者: Hiroki Nishizawa, Takehiko Ohkawa, Nicola Scianca, Tatsuya Matsushima, Shigeo Morishima, Kei Ota

分类: cs.RO, cs.AI

发布日期: 2026-10-13

备注: Under submission

💡 一句话要点

提出YUBI-Real2Sim以解决真实机器人政策评估中的场景重建问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D高斯点云 真实到模拟 政策评估 机器人技术 视觉伪影 物理模拟 场景重建

📋 核心要点

  1. 现有方法在真实机器人上评估VLA政策成本高、耗时且难以复现，重建质量未量化。
  2. 提出YUBI-Real2Sim框架，结合3DGS场景重建与真实到模拟政策评估，解决视觉伪影问题。
  3. 实验结果显示在八个场景任务比较中重现了真实政策排序，强调重建质量对政策评估的重要性。

📝 摘要（中文）

评估真实机器人上的VLA政策既昂贵又耗时，且难以复现，因此真实到模拟的场景生成至关重要。尽管3D高斯点云（3DGS）能够快速生成真实到模拟的场景，但重建质量对政策评估的可靠性仍未量化。特别是依赖于手腕安装鱼眼相机的政策（如YUBI手持夹具数据）容易受到视觉伪影的影响，直接降低任务性能。为此，本文提出了YUBI-Real2Sim，一个基于3DGS的场景重建和真实到模拟政策评估的统一框架。通过构建一个集成管道，结合200度鱼眼相机捕获、3DGS训练、3D基础模型和基于MuJoCo的物理模拟，重现了九个场景任务比较中的八个真实世界政策排序。该框架在两个双手机器人平台、三个场景和三个任务中构建了基准，系统性地测量了真实到模拟的排名一致性，并评估了政策对反事实3DGS伪影的敏感性。

🔬 方法详解

问题定义：本文旨在解决在真实机器人上评估VLA政策时，因重建质量不足导致的政策评估不可靠问题。现有方法未能量化重建质量，且在使用鱼眼相机时容易受到视觉伪影的影响。

核心思路：YUBI-Real2Sim框架通过整合3DGS场景重建与真实到模拟的政策评估，旨在提高政策评估的可靠性，特别是在使用鱼眼相机的情况下。该设计考虑了视觉伪影对任务性能的影响。

技术框架：整体架构包括多个模块：首先使用200度鱼眼相机进行数据捕获，然后进行3DGS训练，接着利用3D基础模型进行物体建模，最后通过MuJoCo进行物理模拟。这一流程确保了从真实场景到模拟场景的高效转换。

关键创新：最重要的创新在于提出了一个统一的框架，将3DGS与政策评估结合，系统性地解决了视觉伪影对政策性能的影响，填补了现有方法在重建质量量化方面的空白。

关键设计：在参数设置上，使用了200度的鱼眼相机进行数据捕获，结合3DGS训练的损失函数和网络结构，确保了重建的高质量和政策评估的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，YUBI-Real2Sim框架在九个场景任务比较中成功重现了八个真实世界政策排序，显示出较高的真实到模拟排名一致性。这一成果强调了重建质量在政策评估中的重要性，并为未来的研究提供了新的方向。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和人机协作等。通过提高真实到模拟的政策评估的可靠性，YUBI-Real2Sim能够帮助研究人员和工程师更有效地设计和测试机器人系统，推动智能机器人技术的进步。

📄 摘要（原文）

Evaluating VLA policies on real robots is costly, time-consuming, and difficult to reproduce, making real-to-sim simulation essential for scalable evaluation. While 3D Gaussian Splatting (3DGS) enables rapid real-to-sim scene generation, the reconstruction quality required for reliable policy evaluation remains unquantified. In particular, policies relying on wrist-mounted fisheye cameras (e.g., YUBI handheld gripper data) are heavily exposed to visual artifacts (holes, floaters) in wide-angle views, directly degrading task performance. To address this, we present YUBI-Real2Sim, a unified framework for 3DGS-based scene reconstruction and real-to-sim policy evaluation under dual fisheye wrist views. We develop an integrated pipeline combining 200-degree fisheye camera capture, 3DGS training, 3D foundation models for object modeling, and MuJoCo-based physical simulation, reproducing the observed real-world policy ordering in eight of nine scene-task comparisons. Using this framework, we construct a benchmark across two bimanual robot platforms, three scenes, three tasks, and dual pi0.5-based policies. This systematically measures real-to-sim rank agreement and evaluates policy sensitivity against counterfactual 3DGS artifacts (ceiling holes, floaters, warping) and capture disturbances. We further analyze whether novel-view quality scores can indicate policy-ranking reliability under a scene-held-out evaluation protocol. The results show task-dependent performance and limitations of quality-based reliability prediction, highlighting the need to assess reconstruction quality when using Real2Sim for policy evaluation. These results do not yet establish a generally reliable scene-acceptance rule. Project Page: https://yubi-real2sim.airoa.io.