Long-distance Geomagnetic Navigation in GNSS-denied Environments with Deep Reinforcement Learning
作者: Wenqi Bai, Xiaohui Zhang, Shiliang Zhang, Songnan Yang, Yushuai Li, Tingwen Huang
分类: cs.RO, cs.AI
发布日期: 2024-10-21
💡 一句话要点
提出基于深度强化学习的长距离地磁导航方法，解决GNSS拒止环境下的导航问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 地磁导航 深度强化学习 GNSS拒止环境 自主导航 TD3算法
📋 核心要点
- 现有地磁导航方法依赖预存地图或大量搜索，在GNSS拒止的未知区域存在适用性差、效率低的问题。
- 提出基于深度强化学习的地磁导航机制，训练智能体学习地磁感知能力，无需预存地图或大规模搜索。
- 通过数值模拟验证，结果表明该方法在长距离任务中优于现有元启发式和仿生导航方法。
📝 摘要（中文）
本文提出了一种基于深度强化学习(DRL)的地磁导航机制，用于解决全球导航卫星系统(GNSS)拒止环境下的长距离导航问题。现有地磁导航方法，如匹配导航和仿生导航，依赖于预先存储的地图或广泛搜索，导致在未探索区域的适用性受限或导航效率降低。该机制训练智能体学习地磁感知能力，无需预存地图或进行大规模搜索。特别地，我们将基于地磁梯度的并行方法集成到地磁导航中，通过调整地磁梯度使其指向目的地，从而减少智能体的过度探索。通过数值模拟验证了该方法的有效性，结果表明，在各种导航条件下，该方法在长距离任务中优于现有的元启发式和仿生导航方法。
🔬 方法详解
问题定义：论文旨在解决GNSS拒止环境下，传统地磁导航方法依赖预存地图或大量搜索导致的适用性差、效率低的问题。现有方法难以在未探索区域进行长距离导航，需要更高效、自主的地磁导航方案。
核心思路：论文的核心思路是利用深度强化学习（DRL）训练一个智能体，使其能够自主学习地磁感知能力，并根据地磁信息进行导航。通过学习，智能体能够理解地磁场与位置之间的关系，从而在没有预存地图的情况下也能实现导航。
技术框架：整体框架包括环境建模、智能体设计和训练过程。环境建模模拟了真实的地磁场环境，智能体通过与环境交互获取地磁信息，并采取行动（移动）。训练过程使用TD3算法，通过奖励函数引导智能体学习正确的导航策略。关键模块包括：地磁数据输入模块、策略网络、价值网络和环境交互模块。
关键创新：最重要的创新点在于将深度强化学习应用于地磁导航，使得智能体能够自主学习导航策略，摆脱了对预存地图的依赖。此外，论文还集成了地磁梯度信息，引导智能体朝着目标方向探索，提高了导航效率。
关键设计：论文使用Twin Delayed Deep Deterministic Policy Gradient (TD3)算法进行训练。TD3算法是一种off-policy的actor-critic算法，可以有效解决DDPG算法中存在的过估计问题。奖励函数的设计至关重要，论文设计了与目标距离相关的奖励，引导智能体靠近目标。网络结构方面，策略网络和价值网络都采用了多层感知机（MLP）。地磁梯度被用于调整智能体的探索方向，具体调整方式未知。
🖼️ 关键图片
📊 实验亮点
论文通过数值模拟验证了所提出方法的有效性。实验结果表明，在长距离导航任务中，该方法优于现有的元启发式和仿生导航方法。具体的性能数据未知，但论文强调了该方法在各种导航条件下均表现出良好的性能，证明了其鲁棒性和适应性。
🎯 应用场景
该研究成果可应用于无人机、水下机器人等在GNSS拒止环境下的自主导航。例如，在军事侦察、灾难救援、地下管线巡检等领域，可以利用该技术实现设备的自主定位和导航，提高任务执行效率和安全性。未来，该技术有望进一步发展，应用于更复杂的环境和更长距离的导航任务。
📄 摘要（原文）
Geomagnetic navigation has drawn increasing attention with its capacity in navigating through complex environments and its independence from external navigation services like global navigation satellite systems (GNSS). Existing studies on geomagnetic navigation, i.e., matching navigation and bionic navigation, rely on pre-stored map or extensive searches, leading to limited applicability or reduced navigation efficiency in unexplored areas. To address the issues with geomagnetic navigation in areas where GNSS is unavailable, this paper develops a deep reinforcement learning (DRL)-based mechanism, especially for long-distance geomagnetic navigation. The designed mechanism trains an agent to learn and gain the magnetoreception capacity for geomagnetic navigation, rather than using any pre-stored map or extensive and expensive searching approaches. Particularly, we integrate the geomagnetic gradient-based parallel approach into geomagnetic navigation. This integration mitigates the over-exploration of the learning agent by adjusting the geomagnetic gradient, such that the obtained gradient is aligned towards the destination. We explore the effectiveness of the proposed approach via detailed numerical simulations, where we implement twin delayed deep deterministic policy gradient (TD3) in realizing the proposed approach. The results demonstrate that our approach outperforms existing metaheuristic and bionic navigation methods in long-distance missions under diverse navigation conditions.