Controller Distillation Reduces Fragile Brain-Body Co-Adaptation and Enables Migrations in MAP-Elites
作者: Alican Mertan, Nick Cheney
分类: cs.RO, cs.LG, cs.NE
发布日期: 2025-04-09
备注: Accepted at the Genetic and Evolutionary Computation Conference 2025 Complex Systems track as a full paper
💡 一句话要点
提出控制器蒸馏方法，解决MAP-Elites中脑-体协同适应脆弱性问题，提升迁移能力。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 脑-体协同进化 MAP-Elites 控制器蒸馏 脆弱协同适应 迁移学习
📋 核心要点
- 脑-体协同进化中，大脑过度适应特定身体导致迁移能力差，进化算法易丢弃有潜力的形态。
- 通过控制器蒸馏，周期性地替换控制器，提升其泛化能力，从而减少脑-体协同适应的脆弱性。
- 实验表明，该方法提高了身体突变的成功率和迁移次数，改善了质量-多样性指标。
📝 摘要（中文）
脑-体协同优化面临着脆弱的协同适应问题，即大脑过度专门化于特定身体，阻碍了其向其他身体的良好迁移。进化算法倾向于丢弃这种低性能的解决方案，从而消除了有前景的形态。先前的工作考虑应用MAP-Elites，其中利基描述符基于形态特征，以促进在形态空间上的更好搜索。本文表明，这种方法仍然存在脆弱的协同适应问题：MAP-Elites的一个核心机制，即通过从一个利基迁移到另一个利基的解决方案创建垫脚石，受到了破坏。我们认为，这种破坏的发生是因为将后代移动到新的形态利基的身体突变破坏了机器人脆弱的脑-体协同适应，从而显著降低了这些潜在解决方案的性能，降低了它们胜过该新利基中现有精英的可能性。我们利用一种称为“授粉”的技术，定期用具有更好跨形态泛化能力的蒸馏控制器替换某些解决方案的控制器，以减少脆弱的脑-体协同适应，从而促进MAP-Elites迁移。授粉增加了身体突变的成功率和迁移次数，从而提高了质量-多样性指标。我们相信，我们开发了重要的见解，可以应用于MAP-Elites使用的其他领域。
🔬 方法详解
问题定义：论文旨在解决MAP-Elites算法在脑-体协同进化中遇到的脆弱协同适应问题。具体来说，当机器人身体发生突变时，其控制器往往无法很好地适应新的身体形态，导致性能下降，阻碍了MAP-Elites算法在形态空间中的有效探索。现有方法难以在形态发生较大变化时保持控制器的性能，限制了算法的迁移能力和多样性。
核心思路：论文的核心思路是通过控制器蒸馏来提升控制器的泛化能力，从而减少脑-体协同适应的脆弱性。通过周期性地将表现良好的控制器的知识提炼到一个更通用的控制器中，使得该控制器能够更好地适应不同的身体形态，从而提高身体突变后的性能，促进MAP-Elites算法的迁移。
技术框架：整体框架基于MAP-Elites算法。在标准的MAP-Elites流程中，引入了一个名为“授粉”的步骤。该步骤定期选择一些个体，并使用蒸馏控制器替换它们的原始控制器。蒸馏控制器的训练数据来自种群中表现良好的个体，目标是学习一个能够适应多种身体形态的通用控制器。替换后的个体将继续参与MAP-Elites的进化过程。
关键创新：最重要的创新点在于将控制器蒸馏应用于解决脑-体协同进化中的脆弱协同适应问题。与传统的MAP-Elites算法相比，该方法通过提升控制器的泛化能力，使得算法能够更好地探索形态空间，避免陷入局部最优。本质区别在于，传统方法依赖于个体自身的进化来适应新的身体，而该方法则通过知识迁移来加速适应过程。
关键设计：关键设计包括：1）蒸馏控制器的选择策略：选择种群中表现最好的控制器作为教师模型。2）训练数据的生成：使用种群中不同身体形态的机器人作为训练数据，以提高蒸馏控制器的泛化能力。3）蒸馏频率：周期性地进行控制器替换，以平衡探索和利用。4）蒸馏控制器的网络结构：未知，论文中可能未详细描述。
🖼️ 关键图片
📊 实验亮点
论文提出的“授粉”方法，通过控制器蒸馏，显著提高了MAP-Elites算法在脑-体协同进化中的性能。实验结果表明，该方法增加了身体突变的成功率和迁移次数，从而提高了质量-多样性指标。具体提升幅度未知，论文中可能未给出明确的数值对比。
🎯 应用场景
该研究成果可应用于机器人设计、控制算法优化等领域。通过提升机器人对不同形态的适应能力，可以设计出更加鲁棒和灵活的机器人，应用于搜索救援、环境探索等复杂场景。此外，该方法也为其他使用MAP-Elites算法的领域提供了借鉴，例如游戏AI、材料设计等。
📄 摘要（原文）
Brain-body co-optimization suffers from fragile co-adaptation where brains become over-specialized for particular bodies, hindering their ability to transfer well to others. Evolutionary algorithms tend to discard such low-performing solutions, eliminating promising morphologies. Previous work considered applying MAP-Elites, where niche descriptors are based on morphological features, to promote better search over morphology space. In this work, we show that this approach still suffers from fragile co-adaptation: where a core mechanism of MAP-Elites, creating stepping stones through solutions that migrate from one niche to another, is disrupted. We suggest that this disruption occurs because the body mutations that move an offspring to a new morphological niche break the robots' fragile brain-body co-adaptation and thus significantly decrease the performance of those potential solutions -- reducing their likelihood of outcompeting an existing elite in that new niche. We utilize a technique, we call Pollination, that periodically replaces the controllers of certain solutions with a distilled controller with better generalization across morphologies to reduce fragile brain-body co-adaptation and thus promote MAP-Elites migrations. Pollination increases the success of body mutations and the number of migrations, resulting in better quality-diversity metrics. We believe we develop important insights that could apply to other domains where MAP-Elites is used.