Exploring the Generalizability of Geomagnetic Navigation: A Deep Reinforcement Learning approach with Policy Distillation
作者: Wenqi Bai, Shiliang Zhang, Xiaohui Zhang, Xuehui Ma, Songnan Yang, Yushuai Li, Tingwen Huang
分类: cs.RO
发布日期: 2025-02-07
💡 一句话要点
提出基于深度强化学习和策略蒸馏的通用地磁导航方法，提升跨领域导航性能。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 地磁导航 深度强化学习 策略蒸馏 领域泛化 自主导航
📋 核心要点
- 现有地磁导航方法缺乏对学习策略泛化性的研究，在新的导航区域性能会显著下降。
- 利用深度强化学习训练多个教师模型，并通过策略蒸馏融合这些模型，提升导航策略的通用性。
- 实验结果表明，该方法在跨领域导航中，导航长度、航向偏差和成功率等方面均优于现有方法。
📝 摘要（中文）
本文研究了地磁导航策略的泛化性问题，针对自主车辆在未知环境中导航的需求，提出了一种基于深度强化学习（DRL）的方法。该方法利用DRL智能体从多个分布式领域学习多个教师模型，这些模型代表了分散的导航策略，并通过融合这些教师模型来提高导航策略的通用性。在训练教师模型时，设计了一种奖励塑造机制，结合了基于势的奖励和内在激励奖励，以提高DRL智能体的探索效率并改善教师模型的表征能力。最后，采用多教师策略蒸馏来合并各个教师模型学习到的策略，从而获得具有跨领域通用性的导航策略。数值模拟结果表明，该方法能够有效地将学习到的DRL模型从源领域迁移到新的导航区域，并且在导航长度、持续时间、航向偏差和跨领域导航成功率方面优于现有的基于进化算法的地磁导航方法。
🔬 方法详解
问题定义：论文旨在解决地磁导航策略在不同地理区域的泛化性问题。现有的地磁导航方法，尤其是在特定区域训练的策略，难以直接应用于新的、未知的导航区域，因为不同区域的地磁特征存在差异。这导致导航性能下降，甚至导航失败。
核心思路：论文的核心思路是通过深度强化学习（DRL）训练多个“教师”模型，每个教师模型都在不同的地理区域（源领域）学习导航策略。然后，利用策略蒸馏技术，将这些教师模型的知识融合到一个“学生”模型中。这样，学生模型就能够学习到多个源领域的导航经验，从而提高其在新领域中的泛化能力。
技术框架：整体框架包含以下几个主要阶段： 1. 教师模型训练：使用DRL算法（具体算法未知）在多个不同的源领域训练多个教师模型。每个教师模型学习一个特定区域的导航策略。 2. 奖励塑造：在训练教师模型时，使用一种结合了基于势的奖励和内在激励奖励的奖励塑造机制，以提高探索效率和策略质量。 3. 策略蒸馏：使用多教师策略蒸馏技术，将多个教师模型的策略融合到一个学生模型中。学生模型的目标是模仿教师模型的行为，从而学习到更通用的导航策略。 4. 导航测试：在新的、未知的导航区域测试学生模型的导航性能。
关键创新：该论文的关键创新在于将多教师策略蒸馏应用于地磁导航领域，以提高导航策略的泛化性。与传统的单一模型训练方法相比，该方法能够学习到更丰富的导航经验，从而更好地适应新的环境。此外，奖励塑造机制的设计也有助于提高DRL智能体的探索效率。
关键设计： * 奖励函数设计：结合基于势的奖励和内在激励奖励，具体公式未知。 * 网络结构：DRL智能体的网络结构未知，但推测可能采用卷积神经网络（CNN）或循环神经网络（RNN）来处理地磁数据。 * 策略蒸馏方法：具体采用的策略蒸馏算法未知，但可能是基于行为克隆或知识蒸馏的变体。 * 教师模型数量：教师模型的数量是一个重要的超参数，需要根据实际情况进行调整。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法能够有效地将学习到的DRL模型从源领域迁移到新的导航区域。与现有的基于进化算法的地磁导航方法相比，该方法在导航长度、持续时间、航向偏差和跨领域导航成功率方面均表现出更优的性能。具体的性能提升数据未知，但摘要中明确指出优于现有方法。
🎯 应用场景
该研究成果可应用于自主水下航行器（AUV）、无人机（UAV）等在GPS拒止环境下的导航。例如，在水下勘探、海洋资源调查、军事侦察等领域，地磁导航可以作为一种可靠的替代方案。此外，该方法还可以扩展到其他类型的传感器和导航任务中，例如视觉导航、惯性导航等。
📄 摘要（原文）
The advancement in autonomous vehicles has empowered navigation and exploration in unknown environments. Geomagnetic navigation for autonomous vehicles has drawn increasing attention with its independence from GPS or inertial navigation devices. While geomagnetic navigation approaches have been extensively investigated, the generalizability of learned geomagnetic navigation strategies remains unexplored. The performance of a learned strategy can degrade outside of its source domain where the strategy is learned, due to a lack of knowledge about the geomagnetic characteristics in newly entered areas. This paper explores the generalization of learned geomagnetic navigation strategies via deep reinforcement learning (DRL). Particularly, we employ DRL agents to learn multiple teacher models from distributed domains that represent dispersed navigation strategies, and amalgamate the teacher models for generalizability across navigation areas. We design a reward shaping mechanism in training teacher models where we integrate both potential-based and intrinsic-motivated rewards. The designed reward shaping can enhance the exploration efficiency of the DRL agent and improve the representation of the teacher models. Upon the gained teacher models, we employ multi-teacher policy distillation to merge the policies learned by individual teachers, leading to a navigation strategy with generalizability across navigation domains. We conduct numerical simulations, and the results demonstrate an effective transfer of the learned DRL model from a source domain to new navigation areas. Compared to existing evolutionary-based geomagnetic navigation methods, our approach provides superior performance in terms of navigation length, duration, heading deviation, and success rate in cross-domain navigation.