Improving greenhouse fruit-production control by integrating reinforcement learning into short-horizon model predictive control

📄 arXiv: 2607.07365v1 📥 PDF

作者: Bart van Laatum, Salim Msaad, Eldert J. van Henten, Robert D. McAllister, Sjoerd Boersma

分类: math.OC, eess.SY

发布日期: 2026-07-08

DOI: 10.2139/ssrn.6947465

💡 一句话要点

提出轨迹选择强化学习-模型预测控制以优化温室果实生产

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 模型预测控制 强化学习 温室农业 经济效益优化 非线性动态 智能农业 自动化控制

📋 核心要点

  1. 现有的模型预测控制方法在处理非线性温室果实生产模型时，长预测视野导致计算复杂度高，难以实时应用。
  2. 本文提出轨迹选择RL-MPC框架，结合强化学习的长期经济信息与短视野MPC优化，提升控制策略的有效性。
  3. 实验结果显示，轨迹选择RL-MPC在一小时预测视野下的性能与高效指导策略相当，显著优于相同视野下的传统MPC。

📝 摘要（中文）

温室果实生产控制旨在最大化经济效益（果实收入减去运营成本），同时在外部天气干扰下遵循系统约束。现有的模型预测控制（MPC）方法能够处理系统约束，但在使用较长预测视野时计算复杂度较高。强化学习（RL）能够离线学习控制策略，但在执行系统约束时表现不佳。本文提出了一种轨迹选择RL-MPC框架，将果实产量的长期经济信息融入短视野MPC优化问题中。该方法在大型温室番茄生产模型GreenLight上应用，结果表明其在一小时预测视野下的闭环性能优于传统MPC。

🔬 方法详解

问题定义：本文旨在解决温室果实生产控制中的经济效益最大化问题，现有MPC方法在长预测视野下计算复杂度高，RL方法在执行系统约束时表现不佳。

核心思路：提出轨迹选择RL-MPC框架，通过强化学习获取长期经济信息，并将其融入短视野的MPC优化中，以平衡经济收益与当前操作成本。

技术框架：该框架包括三个主要模块：首先，使用RL回放轨迹定义终端区域约束和终端成本；其次，非线性MPC解决短视野优化问题；最后，从MPC预测轨迹或RL回放轨迹中选择目标值更优的输入进行执行。

关键创新：最重要的创新在于将RL的长期经济信息与短视野MPC结合，形成轨迹选择机制，克服了传统方法在处理约束时的不足。

关键设计：在参数设置上，采用一小时的预测视野，损失函数设计考虑了经济效益与系统约束，网络结构采用适合非线性动态的MPC算法。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，轨迹选择RL-MPC在一小时预测视野下的闭环性能与高效指导策略相当，且在相同视野下显著优于传统MPC，提升幅度明显，展示了该方法在复杂动态系统中的有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在农业自动化和智能温室管理领域。通过优化果实生产控制，可以提高农业生产效率，降低运营成本，进而提升经济效益。未来，该方法还可扩展至其他类型的农业生产系统，推动智能农业的发展。

📄 摘要（原文）

Greenhouse fruit-production control aims to maximize the economic performance (fruit revenue minus operating costs) while operating within system constraints under external weather disturbances. Control methods need to balance the delayed economic benefit of fruit yield with current operating costs. For such problems, model predictive control (MPC) can explicitly handle system constraints under future weather disturbances, but can become computationally demanding when using sufficiently long prediction horizons for (relatively large) nonlinear greenhouse fruit production models. In contrast, reinforcement learning (RL) can learn control policies offline while considering longer-term economic performance, but struggles to enforce system constraints, and performance may degrade under unseen weather trajectories. This work proposes trajectory-selection RL-MPC, a framework that incorporates longer-term economic information of fruit yield into a short-horizon MPC optimization problem. The framework uses an RL rollout trajectory to define a terminal region constraint and terminal cost. Next, a nonlinear MPC solves a short-horizon optimization problem with these terminal ingredients to find a local optimum. Finally, the framework selects and executes the first input from the trajectory with the better objective value, either from the MPC-predicted or the RL rollout trajectory. The method is applied to GreenLight, a large-scale greenhouse tomato production model that exhibits stiff dynamics. The simulation results show that trajectory-selection RL-MPC with a one-hour prediction horizon matches the closed-loop performance of a high-performing guiding policy while significantly improving over standalone MPC with the same horizon.