Automated Creation of Digital Cousins for Robust Policy Learning
作者: Tianyuan Dai, Josiah Wong, Yunfan Jiang, Chen Wang, Cem Gokmen, Ruohan Zhang, Jiajun Wu, Li Fei-Fei
分类: cs.RO
发布日期: 2024-10-09 (更新: 2024-10-19)
备注: CoRL 2024
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出自动生成数字表亲方法，提升机器人策略在真实场景中的鲁棒性
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 机器人策略学习 领域迁移 数字孪生 仿真训练 自动场景生成
📋 核心要点
- 真实机器人训练成本高、风险大，而传统仿真存在与真实环境的差异，数字孪生虽能缓解差异，但生成成本高且泛化性不足。
- 提出“数字表亲”概念，即与真实场景具有相似几何和语义属性，但非精确复制的虚拟环境，降低了生成成本并提升了泛化能力。
- 构建全自动real-to-sim-to-real流程，自动生成数字表亲场景，训练的机器人策略在真实场景中实现了显著的性能提升。
📝 摘要（中文）
在真实世界中训练机器人策略可能不安全、成本高且难以扩展。仿真提供了一种廉价且潜在无限的训练数据来源，但存在模拟环境和真实环境之间的语义和物理差异。这些差异可以通过在数字孪生中训练来最小化，数字孪生是真实场景的虚拟副本，但生成成本高昂且无法产生跨领域泛化。为了解决这些限制，我们提出了数字表亲的概念，这是一种虚拟资产或场景，与数字孪生不同，它没有明确地对真实世界的对应物进行建模，但仍然表现出相似的几何和语义可供性。因此，数字表亲在降低生成类似虚拟环境的成本的同时，通过提供类似训练场景的分布，也有助于在sim-to-real领域迁移期间实现更好的鲁棒性。利用数字表亲，我们提出了一种自动创建它们的新方法，并提出了一个完全自动化的real-to-sim-to-real管道，用于生成完全交互的场景和训练机器人策略，这些策略可以零样本部署在原始场景中。我们发现可以自动生成保留几何和语义可供性的数字表亲场景，并且可以用于训练优于在数字孪生上训练的策略，在零样本sim-to-real迁移下实现了90% vs. 25%的成功率。
🔬 方法详解
问题定义：论文旨在解决机器人策略在仿真环境中训练后，难以直接迁移到真实世界的问题。现有方法，如直接在仿真环境中训练或使用数字孪生，都存在局限性。前者由于仿真环境与真实环境的差异，导致策略性能下降；后者虽然能较好地模拟真实环境，但生成成本高昂，且缺乏泛化能力，难以适应环境变化。
核心思路：论文的核心思路是引入“数字表亲”的概念，即创建与真实场景具有相似几何和语义属性，但并非完全复制的虚拟环境。通过在多个数字表亲场景中进行训练，机器人策略可以学习到更鲁棒的特征，从而更好地适应真实世界的变化。这种方法在降低生成成本的同时，也提升了策略的泛化能力。
技术框架：整体流程包括三个主要阶段：1) 真实场景数据采集；2) 自动生成数字表亲场景；3) 在数字表亲场景中训练机器人策略，并在真实场景中进行零样本部署。自动生成数字表亲场景是关键，涉及几何和语义信息的提取与重构。训练好的策略直接部署到真实机器人上，无需额外的微调。
关键创新：最重要的创新在于“数字表亲”的概念及其自动生成方法。与数字孪生不同，数字表亲并非真实场景的精确复制，而是通过保留关键的几何和语义属性，生成一系列相似但不同的虚拟环境。这种方法降低了生成成本，并提升了策略的泛化能力。
关键设计：论文中未明确给出关键参数设置、损失函数或网络结构的具体细节。但是，可以推断，在生成数字表亲场景时，需要设计合适的算法来提取和保留真实场景中的几何和语义信息。在训练机器人策略时，可能需要使用域随机化等技术，以进一步提升策略的鲁棒性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在零样本sim-to-real迁移下，使用数字表亲训练的机器人策略的成功率达到了90%，而使用数字孪生训练的策略的成功率仅为25%。这表明数字表亲能够显著提升机器人策略在真实场景中的鲁棒性和泛化能力。该结果验证了数字表亲概念的有效性，并为机器人策略的开发提供了一种新的思路。
🎯 应用场景
该研究成果可应用于各种机器人任务，例如自动驾驶、物流分拣、家庭服务等。通过自动生成数字表亲场景，可以降低机器人策略的开发成本和部署难度，加速机器人在真实世界中的应用。此外，该方法还可以用于增强现实和虚拟现实等领域，为用户提供更加逼真和沉浸式的体验。
📄 摘要（原文）
Training robot policies in the real world can be unsafe, costly, and difficult to scale. Simulation serves as an inexpensive and potentially limitless source of training data, but suffers from the semantics and physics disparity between simulated and real-world environments. These discrepancies can be minimized by training in digital twins, which serve as virtual replicas of a real scene but are expensive to generate and cannot produce cross-domain generalization. To address these limitations, we propose the concept of digital cousins, a virtual asset or scene that, unlike a digital twin, does not explicitly model a real-world counterpart but still exhibits similar geometric and semantic affordances. As a result, digital cousins simultaneously reduce the cost of generating an analogous virtual environment while also facilitating better robustness during sim-to-real domain transfer by providing a distribution of similar training scenes. Leveraging digital cousins, we introduce a novel method for their automated creation, and propose a fully automated real-to-sim-to-real pipeline for generating fully interactive scenes and training robot policies that can be deployed zero-shot in the original scene. We find that digital cousin scenes that preserve geometric and semantic affordances can be produced automatically, and can be used to train policies that outperform policies trained on digital twins, achieving 90% vs. 25% success rates under zero-shot sim-to-real transfer. Additional details are available at https://digital-cousins.github.io/.