Evolution and learning in differentiable robots
作者: Luke Strgar, David Matthews, Tyler Hummer, Sam Kriegman
分类: cs.RO, cs.AI
发布日期: 2024-05-23 (更新: 2024-05-26)
💡 一句话要点
提出基于可微仿真的进化学习框架，实现机器人形态与控制策略的协同优化。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱八：物理动画 (Physics-based Animation)
关键词: 机器人设计 进化算法 可微仿真 强化学习 形态优化 控制策略 Sim2Real
📋 核心要点
- 传统机器人设计方法受限于不可微的评估过程，易收敛于简单结构，且缺乏从仿真到现实的迁移能力。
- 论文提出一种基于可微仿真的进化学习框架，通过遗传算法驱动机器人形态演化，梯度下降优化控制策略。
- 实验表明，该方法能探索更多复杂机器人设计，发现“越来越可微”的形态，并成功迁移到物理机器人。
📝 摘要（中文）
本文提出了一种自动设计机器人的方法，克服了传统方法中不可微设计评估、过早收敛和缺乏sim2real迁移的问题。该方法利用大规模并行可微仿真，快速优化候选机器人形体的神经控制策略，并根据优化后的行为性能评估设计。通过遗传算法在外部循环中进行非可微的机械结构变异，生成具有高度协调行为的新型形态。这种方法探索的设计数量比以往方法多几个数量级，并且能够处理更复杂的机器人。研究发现，进化过程倾向于产生“越来越可微”的机器人，即能够平滑学习损失地形，从而提供更好的训练路径。最后，将仿真中发现的一种高度可微形态转化为物理机器人，并验证了其优化后的行为。该研究提供了一个赛博物理平台，用于研究生物系统中进化与学习之间的关系，并加深了对机器人物理结构如何影响策略训练能力的理解。
🔬 方法详解
问题定义：现有机器人自动设计方法面临的主要问题是：1) 设计评估过程通常是不可微的，阻碍了高效的优化；2) 容易过早收敛到简单的机器人形态或笨拙的行为；3) 缺乏从仿真环境到真实物理环境的迁移能力。这些问题限制了机器人设计的复杂性和性能。
核心思路：本文的核心思路是将进化算法（用于形态设计）与梯度下降（用于控制策略学习）相结合，并在大规模并行可微仿真环境中进行。通过可微仿真，可以高效地优化控制策略，并根据优化后的性能评估机器人形态。进化算法则负责探索新的形态设计，避免陷入局部最优。
技术框架：整体框架包含两个主要循环：1) 外循环：使用遗传算法进行机器人形态的进化。遗传算法通过变异（例如，添加、移除或重组身体部件）来生成新的机器人形态。2) 内循环：对于每个机器人形态，使用梯度下降方法优化其神经控制策略。优化目标是最大化机器人的性能（例如，移动速度或完成特定任务的能力）。优化后的性能作为该形态的适应度值，用于遗传算法的选择过程。
关键创新：最重要的技术创新点在于使用可微仿真环境，使得控制策略的学习可以通过梯度下降高效地进行。这使得可以同时优化大量候选机器人形态的控制策略，并根据优化后的性能来评估形态的优劣。此外，通过进化算法探索形态空间，可以发现具有良好可学习性的机器人形态，即“越来越可微”的机器人。
关键设计：关键设计包括：1) 使用大规模并行仿真来加速优化过程；2) 设计合适的变异算子，用于在遗传算法中生成新的机器人形态；3) 选择合适的神经控制网络结构和优化算法，以实现高效的控制策略学习；4) 定义合适的适应度函数，用于评估机器人形态的性能。具体参数设置和网络结构等细节在论文中未详细描述，属于未知信息。
🖼️ 关键图片
📊 实验亮点
研究表明，进化过程能够可靠地产生“越来越可微”的机器人形态，这些形态能够平滑学习损失地形，从而提供更好的训练路径。此外，将仿真中发现的一种高度可微形态转化为物理机器人，并成功地保留了其优化后的行为，验证了sim2real迁移的可行性。具体的性能数据和提升幅度在论文中未明确给出，属于未知信息。
🎯 应用场景
该研究成果可应用于各种机器人设计领域，例如搜索救援机器人、医疗机器人和工业自动化机器人。通过自动优化机器人形态和控制策略，可以设计出更高效、更适应特定任务的机器人。此外，该研究也为理解生物系统中进化与学习之间的关系提供了新的视角。
📄 摘要（原文）
The automatic design of robots has existed for 30 years but has been constricted by serial non-differentiable design evaluations, premature convergence to simple bodies or clumsy behaviors, and a lack of sim2real transfer to physical machines. Thus, here we employ massively-parallel differentiable simulations to rapidly and simultaneously optimize individual neural control of behavior across a large population of candidate body plans and return a fitness score for each design based on the performance of its fully optimized behavior. Non-differentiable changes to the mechanical structure of each robot in the population -- mutations that rearrange, combine, add, or remove body parts -- were applied by a genetic algorithm in an outer loop of search, generating a continuous flow of novel morphologies with highly-coordinated and graceful behaviors honed by gradient descent. This enabled the exploration of several orders-of-magnitude more designs than all previous methods, despite the fact that robots here have the potential to be much more complex, in terms of number of independent motors, than those in prior studies. We found that evolution reliably produces ``increasingly differentiable'' robots: body plans that smooth the loss landscape in which learning operates and thereby provide better training paths toward performant behaviors. Finally, one of the highly differentiable morphologies discovered in simulation was realized as a physical robot and shown to retain its optimized behavior. This provides a cyberphysical platform to investigate the relationship between evolution and learning in biological systems and broadens our understanding of how a robot's physical structure can influence the ability to train policies for it. Videos and code at https://sites.google.com/view/eldir.