A semi-centralized multi-agent RL framework for efficient irrigation scheduling

📄 arXiv: 2408.08442v1 📥 PDF

作者: Bernard T. Agyeman, Benjamin Decard-Nelson, Jinfeng Liu, Sirish L. Shah

分类: eess.SY, cs.LG

发布日期: 2024-08-15

💡 一句话要点

提出半中心化多智能体强化学习框架，用于高效的空间变异性农田灌溉调度

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体强化学习 灌溉调度 空间变异性 精准农业 半中心化控制

📋 核心要点

  1. 传统灌溉调度方法难以有效处理农田的空间异质性，导致资源浪费和效率低下。
  2. 论文提出SCMARL框架，利用中心化协调和去中心化执行，实现全局优化和局部适应的平衡。
  3. 实验结果表明，该方法在节水和提高灌溉用水效率方面优于现有方法，具有显著优势。

📝 摘要（中文）

本文提出了一种半中心化多智能体强化学习（SCMARL）方法，用于空间变异性农田的灌溉调度，其中管理区用于解决空间变异性问题。SCMARL框架本质上是分层的，顶层是一个中心化的协调代理，第二层是去中心化的本地代理。协调代理根据全田范围的条件做出每日二元灌溉决策，并将其传达给本地代理。本地代理使用本地条件确定特定管理区的适当灌溉量。该框架采用状态增强方法来处理本地代理环境中的非平稳性。在加拿大莱斯布里奇的一个大型田地上进行了广泛的评估，将SCMARL方法与基于学习的多智能体模型预测控制调度方法进行了比较，突出了其增强的性能，从而实现了节水并提高了灌溉用水效率（IWUE）。值得注意的是，所提出的方法实现了4.0%的灌溉节水，同时将IWUE提高了6.3%。

🔬 方法详解

问题定义：论文旨在解决空间变异性农田的灌溉调度问题。现有方法，如传统的单智能体强化学习或模型预测控制，难以有效处理农田内部的空间异质性，无法针对不同区域的需求进行精细化灌溉，导致水资源浪费和灌溉效率低下。此外，环境的非平稳性也给智能体的学习带来了挑战。

核心思路：论文的核心思路是采用半中心化的多智能体强化学习框架，将灌溉调度问题分解为全局决策和局部决策两个层次。中心化协调代理负责根据全田范围的条件做出宏观的灌溉决策，而去中心化的本地代理则根据各自管理区的局部条件确定具体的灌溉量。这种分层结构既能保证全局优化，又能实现局部适应。

技术框架：SCMARL框架包含两个主要层级：中心化协调代理和去中心化本地代理。协调代理接收全田范围的状态信息（如土壤湿度、气象数据等），输出每日的二元灌溉决策（灌溉或不灌溉）。该决策被传递给所有本地代理。每个本地代理接收协调代理的决策以及其所在管理区的局部状态信息，输出具体的灌溉量。所有代理通过强化学习算法进行训练，目标是最大化长期累积奖励（如作物产量、节水量等）。

关键创新：该方法最重要的技术创新点在于半中心化的架构设计以及状态增强方法。半中心化架构允许全局协调和局部适应相结合，更好地处理空间变异性。状态增强方法通过将历史状态信息添加到当前状态中，帮助本地代理克服环境的非平稳性，提高学习效率和泛化能力。与传统的集中式或完全去中心化的方法相比，SCMARL框架在复杂性和性能之间取得了更好的平衡。

关键设计：论文中，协调代理和本地代理均采用深度神经网络作为策略函数。奖励函数的设计综合考虑了作物产量、节水量和灌溉成本等因素。状态增强的具体实现方式是将过去若干时间步的状态信息拼接成一个更长的状态向量。具体的网络结构、学习率、折扣因子等超参数需要根据实际问题进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，与基于学习的多智能体模型预测控制调度方法相比，所提出的SCMARL方法在灌溉调度方面表现出更优的性能。具体而言，SCMARL方法实现了4.0%的灌溉节水，同时将灌溉用水效率（IWUE）提高了6.3%。这些结果表明，SCMARL方法能够有效地处理空间变异性，并实现更高效的灌溉管理。

🎯 应用场景

该研究成果可广泛应用于精准农业领域，特别是对于具有显著空间变异性的农田灌溉管理。通过优化灌溉策略，可以有效节约水资源，提高灌溉用水效率，降低农业生产成本，并最终提高作物产量和质量。该方法还可扩展到其他农业资源管理问题，如施肥、病虫害防治等，具有广阔的应用前景。

📄 摘要（原文）

This paper proposes a Semi-Centralized Multi-Agent Reinforcement Learning (SCMARL) approach for irrigation scheduling in spatially variable agricultural fields, where management zones address spatial variability. The SCMARL framework is hierarchical in nature, with a centralized coordinator agent at the top level and decentralized local agents at the second level. The coordinator agent makes daily binary irrigation decisions based on field-wide conditions, which are communicated to the local agents. Local agents determine appropriate irrigation amounts for specific management zones using local conditions. The framework employs state augmentation approach to handle non-stationarity in the local agents' environments. An extensive evaluation on a large-scale field in Lethbridge, Canada, compares the SCMARL approach with a learning-based multi-agent model predictive control scheduling approach, highlighting its enhanced performance, resulting in water conservation and improved Irrigation Water Use Efficiency (IWUE). Notably, the proposed approach achieved a 4.0% savings in irrigation water while enhancing the IWUE by 6.3%.