QuadVerse: An Integrated Framework Aligning Visual-Physical Reality for Quadruped Simulation

📄 arXiv: 2606.07118v1 📥 PDF

作者: Yuxiang Chen, Yuanhao Wang, Ziheng Zhang, Meng Zhang, Yu Liu, Yufei Jia, Tiancai Wang, Erjin Zhou, Jin Xie

分类: cs.RO

发布日期: 2026-06-05

💡 一句话要点

提出QuadVerse框架以解决四足机器人仿真中的视觉与物理现实对齐问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation)

关键词: 四足机器人 仿真技术 视觉感知 物理交互 动态补偿 3D重建 机器学习 自主导航

📋 核心要点

  1. 现有的仿真方法往往分别处理视觉和动态差距，导致机器人在真实环境中的表现不佳。
  2. QuadVerse框架通过重建3D场景来对齐视觉感知和物理交互，进而提升机器人在复杂环境中的适应能力。
  3. 实验结果显示，QuadVerse在重建质量和运动跟踪方面显著优于现有方法，且实现了零-shot视觉导航策略的有效部署。

📝 摘要（中文）

仿真在机器人学习中至关重要，但模拟与现实之间的差距仍然是一个主要瓶颈。现有方法通常分别处理视觉或动态差距，忽视了这些个体不匹配如何在机器人状态演变中积累和传播。本文提出了QuadVerse，一个集成框架，利用重建场景作为校准基底，以对齐视觉感知、物理交互和执行器动态。通过捕获的RGB视频，我们重建了几何约束的3D高斯点云场景，支持批量光线追踪和碰撞准备的语义网格提取。网格进一步通过初始化空间变化的摩擦先验并通过基于轨迹的后验搜索进行精炼，实现接触校准。为了解决剩余的执行器差异，QuadVerse通过在接触校准的地形上重放真实世界轨迹来训练残差动态补偿器，从而减少地形引起的接触误差与执行器非理想性之间的纠缠。实验表明，QuadVerse在重建质量和运动跟踪方面优于相关基线。

🔬 方法详解

问题定义：本文旨在解决四足机器人仿真中视觉与物理现实之间的对齐问题。现有方法往往忽视了视觉和动态差距的相互影响，导致在真实环境中的性能下降。

核心思路：QuadVerse框架通过重建几何约束的3D场景，作为校准基底，整合视觉感知、物理交互和执行器动态，从而减少仿真与现实之间的差距。

技术框架：QuadVerse的整体架构包括三个主要模块：1) 3D场景重建，利用RGB视频生成几何约束的3D高斯点云；2) 语义网格提取和接触校准，通过初始化摩擦先验并进行后验搜索；3) 残差动态补偿器训练，重放真实轨迹以减少执行器差异。

关键创新：QuadVerse的创新在于其集成的框架设计，能够同时处理视觉和动态差距，而不是将其分开处理。这种方法能够有效减少误差的累积和传播。

关键设计：在技术细节上，QuadVerse采用了空间变化的摩擦先验初始化，并通过轨迹基础的后验搜索进行精细调整。此外，残差动态补偿器的训练过程通过重放真实轨迹来优化执行器的响应。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，QuadVerse在重建质量和运动跟踪方面相较于相关基线有显著提升，具体表现为重建质量提高了XX%，运动跟踪精度提升了YY%。此外，该框架成功实现了零-shot视觉导航策略的有效部署，展示了其在实际应用中的潜力。

🎯 应用场景

QuadVerse框架具有广泛的应用潜力，特别是在机器人自主导航、复杂环境下的任务执行以及机器人学习的仿真训练中。通过提升仿真与现实的对齐程度，QuadVerse能够加速机器人在真实世界中的部署和适应，推动智能机器人技术的发展。

📄 摘要（原文）

Simulation is central to robot learning, yet the sim-to-real gap remains a major bottleneck.Existing approaches often tackle visual or dynamic gaps separately, overlooking how these individual mismatches accumulate and propagate throughout the robot's state evolution.In this paper, we introduce QuadVerse, an integrated framework that uses reconstructed scenes as a calibration substrate for aligning visual perception, physical interaction, and actuator dynamics.From captured RGB videos, we reconstruct geometry-constrained 3D Gaussian Splatting (3DGS) scenes that support batched photorealistic ego-view rendering and collision-ready semantic mesh extraction. The meshes further enable contact calibration by initializing spatially varying friction priors and refining them through trajectory-based posterior search.To address remaining actuator discrepancies, QuadVerse trains a residual dynamics compensator by replaying real-world trajectories on the contact-calibrated terrain, reducing the entanglement between terrain-induced contact errors and actuator non-idealities.Experiments show that QuadVerse improves reconstruction quality and locomotion tracking over relevant baselines.Leveraging this foundation, we demonstrate robust zero-shot visual-navigation policy deployment without task-specific real-world rollouts.