PhyVisGen: Physically and Visually High-Fidelity Robotic Manipulation Data Generation

📄 arXiv: 2609.25653v1 📥 PDF

作者: Yu Zheng, Qiyu Feng, Yixin Wu, Baoquan Yang, Yixuan Zhou, Bingyang Hu, Kemeng Huang, Guansheng Yang, Hesheng Wang

分类: cs.RO

发布日期: 2026-09-22

备注: 8 pages, 5 figures. Under review

💡 一句话要点

提出PhyVisGen以解决机器人操作数据生成的物理与视觉一致性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 机器人操作 数据生成 物理模拟 视觉重建 增量潜在接触 合成数据 高保真度 自动化技术

📋 核心要点

  1. 现有的机器人操作数据收集方法成本高且难以扩展，尤其是在软夹具操作中，物理和视觉差异限制了合成数据的有效性。
  2. PhyVisGen通过增量潜在接触（IPC）方法实现高保真软接触，并结合真实场景重建与实时路径追踪生成视觉上逼真的数据。
  3. 实验结果显示，基于合成数据训练的策略在真实任务中成功率高达65-95%，表明该方法在数据生成上的有效性和可转移性。

📝 摘要（中文）

大规模的操作演示对于学习稳健的视觉运动策略至关重要，但现实世界数据收集成本高且难以扩展。虽然仿真提供了一个有前景的替代方案，但物理和视觉差异可能限制合成数据的可转移性，尤其是在使用软夹具的操作中。本文提出了PhyVisGen，一个用于可扩展机器人操作数据生成的物理和视觉高保真框架。在物理方面，PhyVisGen引入了一种基于增量潜在接触（IPC）的臂-夹具耦合方法，实现了整个操作轨迹中的高保真软接触。在视觉方面，它结合了真实场景重建与实时路径追踪，生成视觉上逼真的观察，同时保留捕获场景的外观。定量评估表明，PhyVisGen在物理和视觉保真度方面表现优异。仅基于合成操作演示训练的策略在五个真实机器人任务中成功率达到65-95%，无需真实机器人演示数据或策略微调。

🔬 方法详解

问题定义：本文旨在解决机器人操作数据生成中的物理与视觉一致性问题。现有方法在真实环境中应用时，往往面临高成本和数据转移性差的挑战，特别是在使用软夹具进行操作时。

核心思路：PhyVisGen的核心思路是通过引入增量潜在接触（IPC）方法来实现高保真的软接触，同时结合真实场景重建与实时路径追踪技术，生成高质量的视觉数据。这种设计旨在提高合成数据在真实环境中的可用性和有效性。

技术框架：PhyVisGen的整体架构包括两个主要模块：物理模块和视觉模块。物理模块负责实现高保真的接触模拟，而视觉模块则通过实时路径追踪生成逼真的视觉输出。两个模块协同工作，确保生成的数据在物理和视觉上都具有高保真度。

关键创新：PhyVisGen的主要创新在于其独特的臂-夹具耦合方法和结合真实场景重建的实时路径追踪技术。这些创新使得合成数据在物理接触和视觉表现上都能达到接近真实的效果，显著提高了数据的转移性。

关键设计：在关键设计方面，PhyVisGen采用了增量潜在接触（IPC）算法来处理软接触的模拟。此外，视觉模块利用了先进的路径追踪算法，以确保生成的图像在光照和材质上都能真实反映场景特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于PhyVisGen生成的合成数据训练的策略在五个真实机器人任务中成功率达到65-95%。这一结果显著高于传统方法，展示了该框架在物理和视觉一致性方面的优势，且无需真实演示数据或策略微调。

🎯 应用场景

该研究的潜在应用领域包括机器人抓取、自动化生产线和人机协作等场景。通过提供高保真的操作数据生成，PhyVisGen能够帮助机器人在复杂环境中更好地执行任务，提高操作的灵活性和效率。未来，该方法有望推动机器人技术在实际应用中的广泛采用。

📄 摘要（原文）

Large-scale manipulation demonstrations are essential for learning robust visuomotor policies, yet real-world data collection is expensive and difficult to scale. Simulation offers a promising alternative, but physical and visual discrepancies can limit the transferability of synthetic data, particularly for manipulation with soft grippers. We present PhyVisGen, a physically and visually high-fidelity framework for scalable robotic manipulation data generation. On the physical side, PhyVisGen introduces an arm-gripper coupling method based on the Incremental Potential Contact (IPC), enabling high-fidelity soft contact throughout complete manipulation trajectories. On the visual side, it combines real-scene reconstruction with real-time path tracing to generate visually realistic observations while preserving captured scene appearance. Quantitative evaluations demonstrate the physical and visual fidelity of PhyVisGen. Policies trained exclusively on synthetic manipulation demonstrations achieve 65-95% success across five real-robot tasks, without real-robot demonstration data or policy fine-tuning.