JPDS-NN: Reinforcement Learning-Based Dynamic Task Allocation for Agricultural Vehicle Routing Optimization

📄 arXiv: 2503.02369v1 📥 PDF

作者: Yixuan Fan, Haotian Xu, Mengqiao Liu, Qing Zhuo, Tao Zhang

分类: cs.RO, cs.AI

发布日期: 2025-03-04

备注: 8 pages, 7 figures, submitted to IROS 2025

💡 一句话要点

提出JPDS-NN，基于强化学习动态优化农业车辆路径规划，解决不规则田地EDVRP问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 车辆路径问题 强化学习 图神经网络 农业应用 动态规划 注意力机制 智能农业

📋 核心要点

  1. 传统启发式方法在解决农业车辆路径问题时，忽略了田地几何形状和入口约束，导致路径规划效率低下。
  2. JPDS-NN将路径规划建模为马尔可夫决策过程，利用图Transformer和注意力机制，并通过强化学习进行端到端训练。
  3. 实验表明，JPDS-NN显著降低了行驶距离和油耗，计算速度提升了两个数量级，并在动态场景中表现出更优的性能。

📝 摘要（中文）

本文针对农业中的入口依赖车辆路径问题（EDVRP），该问题中城市规模影响路径选择，需要考虑入口因素。针对不规则田地多参数车辆规划，提出了一种联合概率分布采样神经网络（JPDS-NN）来有效解决EDVRP。该网络采用编码器-解码器架构，利用图Transformer和注意力机制将路径规划建模为马尔可夫决策过程，并通过强化学习进行训练，实现高效快速的端到端规划。实验结果表明，JPDS-NN可减少48.4-65.4%的行驶距离，降低14.0-17.6%的油耗，计算速度比基线方法快两个数量级，并在动态安排场景中表现出15-25%的优越性能。消融研究验证了交叉注意力和预训练的必要性。该框架为动态约束下的大规模农业提供了可扩展的智能路径规划。

🔬 方法详解

问题定义：本文旨在解决农业场景下的入口依赖车辆路径问题（EDVRP），特别是不规则形状田地的多参数车辆路径规划问题。现有启发式方法在解决此类问题时，通常忽略田地的几何形状和入口约束，导致规划的路径并非最优，效率较低。此外，传统方法难以适应动态变化的约束条件，例如临时出现的障碍物或任务变更。

核心思路：论文的核心思路是将车辆路径规划问题建模为一个马尔可夫决策过程（MDP），并利用深度强化学习（DRL）来训练一个神经网络，使其能够学习到最优的路径规划策略。通过这种方式，网络可以自动学习田地的几何特征、入口位置以及其他约束条件，从而生成高效的路径。

技术框架：JPDS-NN采用编码器-解码器架构。编码器使用图Transformer网络来提取田地和入口的特征，并将其编码成一个图嵌入表示。解码器则使用注意力机制来逐步生成车辆的行驶路径，每一步都基于当前状态选择下一个要访问的地点。整个网络通过强化学习进行训练，目标是最大化奖励函数，奖励函数通常与行驶距离和油耗等指标相关。

关键创新：该论文的关键创新在于将图神经网络和强化学习相结合，用于解决农业车辆路径规划问题。与传统的启发式方法相比，JPDS-NN能够自动学习田地的复杂几何特征和动态约束，从而生成更优的路径。此外，该网络采用端到端的训练方式，无需手动设计复杂的规则或参数。

关键设计：JPDS-NN的关键设计包括：1) 使用图Transformer网络作为编码器，能够有效地提取田地的几何特征和入口信息；2) 使用注意力机制作为解码器，能够根据当前状态动态地选择下一个要访问的地点；3) 使用强化学习算法（具体算法未知）来训练网络，目标是最大化奖励函数，奖励函数的设计需要仔细考虑，以平衡行驶距离、油耗和时间等因素；4) 预训练策略，通过预训练可以加速网络的收敛速度，提高性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，JPDS-NN在农业车辆路径规划问题上取得了显著的性能提升。与基线方法相比，JPDS-NN能够减少48.4-65.4%的行驶距离，降低14.0-17.6%的油耗，并且计算速度提高了两个数量级。此外，在动态安排场景中，JPDS-NN的表现也优于基线方法15-25%。消融实验验证了交叉注意力和预训练对于提升网络性能的重要性。

🎯 应用场景

该研究成果可应用于大规模农业生产中的智能车辆路径规划，例如农药喷洒、施肥、收割等作业。通过优化车辆行驶路径，可以降低油耗、减少环境污染、提高作业效率，从而降低农业生产成本，提高农业生产的可持续性。未来，该技术还可以扩展到其他领域的车辆路径规划问题，例如物流配送、城市交通等。

📄 摘要（原文）

The Entrance Dependent Vehicle Routing Problem (EDVRP) is a variant of the Vehicle Routing Problem (VRP) where the scale of cities influences routing outcomes, necessitating consideration of their entrances. This paper addresses EDVRP in agriculture, focusing on multi-parameter vehicle planning for irregularly shaped fields. To address the limitations of traditional methods, such as heuristic approaches, which often overlook field geometry and entrance constraints, we propose a Joint Probability Distribution Sampling Neural Network (JPDS-NN) to effectively solve the EDVRP. The network uses an encoder-decoder architecture with graph transformers and attention mechanisms to model routing as a Markov Decision Process, and is trained via reinforcement learning for efficient and rapid end-to-end planning. Experimental results indicate that JPDS-NN reduces travel distances by 48.4-65.4%, lowers fuel consumption by 14.0-17.6%, and computes two orders of magnitude faster than baseline methods, while demonstrating 15-25% superior performance in dynamic arrangement scenarios. Ablation studies validate the necessity of cross-attention and pre-training. The framework enables scalable, intelligent routing for large-scale farming under dynamic constraints.