Visual Swarm Navigation via Deep Reinforcement Learning and Evolutionary Hybrid Design

📄 arXiv: 2610.06400v1 📥 PDF

作者: Álvaro Díez, Fidel Aznar

分类: cs.RO, cs.MA, cs.NE

发布日期: 2026-10-05

备注: 46 pages, 21 figures. Published in Engineering Applications of Artificial Intelligence under a CC BY 4.0 license

期刊: Engineering Applications of Artificial Intelligence, Vol. 184, Part 1, 2026, 116325

DOI: 10.1016/j.engappai.2026.116325

💡 一句话要点

提出一种混合设计方法以解决群体机器人自主视觉导航问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 群体机器人 自主导航 强化学习 神经进化 视觉感知 能效优化 集体智能

📋 核心要点

  1. 群体机器人领域面临的核心挑战是设计出能够生成涌现集体行为的去中心化控制器，现有方法在这一点上存在不足。
  2. 本文提出了一种结合多智能体强化学习和神经进化策略的混合方法，旨在自动合成用于自主视觉导航的群体机器人控制器。
  3. 实验结果显示，使用交叉熵方法训练的控制器在探索覆盖率上优于协方差矩阵适应进化策略，且能耗显著降低31.40%。

📝 摘要（中文）

群体机器人为复杂动态环境中的先进自动化提供了一种稳健且经济的范式，尤其适用于搜索救援或环境监测等场景。本文提出了一种新颖的AI驱动混合方法，自动合成用于自主视觉导航的群体机器人控制器。该方法结合了多智能体强化学习与神经进化策略，利用交叉熵方法和协方差矩阵适应进化策略来优化预训练的个体导航策略。所设计的深度架构适用于低成本、资源受限的平台，依赖单目相机图像，强调计算和能效。实验结果表明，所提出的控制器能够在多样化的室内环境中实现稳健且可扩展的集体探索，且在能耗上显著降低。该研究为在实际工程应用中部署高效的集体智能奠定了基础。

🔬 方法详解

问题定义：本文旨在解决群体机器人在复杂动态环境中自主视觉导航的控制器设计问题。现有方法往往依赖于昂贵的传感器，难以实现高效的集体行为生成。

核心思路：论文提出了一种混合设计方法，结合多智能体强化学习与神经进化策略，通过优化预训练的导航策略，来实现高效的视觉导航控制器。

技术框架：整体架构包括多个模块，首先通过多智能体强化学习训练初步的导航策略，然后利用神经进化策略进行优化，最终在低成本平台上实现控制器的部署。

关键创新：最重要的创新点在于将交叉熵方法与协方差矩阵适应进化策略结合，优化了控制器的性能，尤其是在探索覆盖率和能效方面。

关键设计：在设计中，采用了紧凑的神经网络结构，专注于单目相机图像输入，设置了适当的损失函数以平衡探索与能耗，确保在资源受限的环境中高效运行。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用交叉熵方法训练的控制器在探索覆盖率上比协方差矩阵适应进化策略提高了36.20%。此外，最佳视觉策略的探索性能与传统依赖昂贵距离传感器的方法相当，同时能耗平均降低了31.40%。

🎯 应用场景

该研究的潜在应用场景包括搜索救援、环境监测以及其他需要群体智能的自动化任务。通过实现高效的视觉导航控制器，能够在实际工程中提升群体机器人的自主性和适应性，推动智能机器人技术的发展。

📄 摘要（原文）

Swarm robotics presents a robust and cost-effective paradigm for advanced automation in complex, dynamic environments, such as those encountered in search and rescue or environmental monitoring. A fundamental challenge for this field is the data-driven design of decentralized controllers capable of generating emergent collective behaviors. This paper proposes a novel, AI-driven hybrid methodology for the automatic synthesis of swarm robotic controllers for autonomous visual navigation. This approach synergistically combines multi-agent reinforcement learning with neuro-evolutionary strategies, specifically leveraging implementations of the cross-entropy method and the covariance matrix adaptation evolution strategy to optimize a pre-trained individual navigation policy. The underlying deep architecture is engineered for low-cost, resource-constrained platforms, utilizing a compact neural network that relies exclusively on monocular camera imagery. This vision-based design emphasizes computational and energy efficiency, a critical requirement for practical swarm deployments. Experiments, performed in a high-fidelity physics simulator, demonstrate that the resulting controllers enable robust and scalable collective exploration of diverse indoor environments. The controller trained using our cross-entropy method achieves superior exploration coverage, visiting 36.20% more regions compared to the covariance matrix adaptation evolution strategy. Critically, our best vision-based policy achieves exploration performance statistically comparable to traditional methods relying on more expensive distance sensors, while delivering a significant 31.40% average reduction in energy consumption. These findings validate an effective and economically viable autonomous control system, establishing a path for deploying highly efficient collective intelligence in real-world engineering applications.