Integrating Reinforcement Learning and Model Predictive Control with Applications to Microgrids
作者: Caio Fabio Oliveira da Silva, Azita Dabiri, Bart De Schutter
分类: eess.SY, cs.AI, cs.LG
发布日期: 2024-09-17 (更新: 2025-04-14)
💡 一句话要点
提出一种融合强化学习与模型预测控制的方法，用于优化微电网等混合逻辑动态系统。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 模型预测控制 混合逻辑动态系统 微电网 解耦Q函数
📋 核心要点
- 混合逻辑动态系统的优化控制面临维度灾难，传统方法在线求解混合整数线性规划计算量大。
- 提出解耦Q函数，利用强化学习确定离散变量，将模型预测控制的混合整数规划问题简化为线性规划。
- 在微电网系统上的实验表明，该方法显著降低了在线计算时间，同时保持了良好的可行性和次优性。
📝 摘要（中文）
本研究提出了一种融合强化学习（RL）和模型预测控制（MPC）的方法，旨在高效解决混合逻辑动态系统中的有限时域最优控制问题。对此类具有离散和连续决策变量的系统进行基于优化的控制，需要在在线求解混合整数线性规划（MILP），而这会受到维度灾难的影响。该方法通过解耦离散变量和连续变量的决策来缓解这个问题。具体而言，强化学习负责确定离散决策变量，从而将MPC控制器的在线优化问题从MILP简化为线性规划（LP），显著减少计算时间。本工作的核心贡献在于定义了解耦Q函数，这在组合动作空间中使学习问题易于处理方面起着关键作用。论文还探讨了使用循环神经网络（RNN）来近似解耦Q函数，并展示了如何在强化学习设置中使用它们。在微电网系统上使用真实数据的仿真实验表明，该方法在保持高可行性和低次优性的同时，显著降低了MPC的在线计算时间。
🔬 方法详解
问题定义：论文旨在解决混合逻辑动态系统（例如微电网）的有限时域最优控制问题。传统的模型预测控制（MPC）方法在处理此类问题时，需要在线求解混合整数线性规划（MILP），计算复杂度高，难以满足实时性要求，尤其是在维度较高的情况下。现有方法的痛点在于计算量大，难以实现快速响应。
核心思路：论文的核心思路是将离散决策变量和连续决策变量的决策过程解耦。利用强化学习（RL）来学习离散决策变量的策略，从而将MPC的优化问题简化为只包含连续变量的线性规划（LP）。这样可以显著降低在线计算的复杂度，提高控制器的响应速度。
技术框架：整体框架包含两个主要部分：强化学习部分和模型预测控制部分。首先，使用强化学习算法训练一个策略网络，该网络能够根据当前状态输出离散决策变量。然后，在MPC控制器中，将强化学习输出的离散决策变量作为已知量，只优化连续决策变量。这样，MPC的优化问题就从MILP简化为LP。整个流程是：状态输入 -> RL策略网络 -> 离散决策变量 -> MPC控制器 -> 连续决策变量 -> 系统状态更新。
关键创新：最重要的技术创新点在于定义了解耦Q函数。传统的Q函数需要考虑所有离散和连续动作的组合，导致维度灾难。解耦Q函数将Q函数分解为只与离散动作相关的部分，从而大大降低了学习的难度。与现有方法的本质区别在于，该方法将离散决策变量的学习从MPC的优化问题中分离出来，利用强化学习预先学习，从而降低了在线计算的复杂度。
关键设计：论文使用循环神经网络（RNN）来近似解耦Q函数。RNN能够处理时序数据，更好地捕捉系统的动态特性。损失函数采用传统的Q-learning损失函数，目标是最小化预测Q值与目标Q值之间的差距。具体的参数设置和网络结构在论文中没有详细说明，属于实现细节，可能需要根据具体应用场景进行调整。
🖼️ 关键图片
📊 实验亮点
在微电网系统上的仿真实验表明，该方法能够显著降低MPC的在线计算时间，同时保持较高的可行性和较低的次优性。具体而言，与传统的MILP求解器相比，该方法可以将计算时间降低几个数量级，从而满足实时控制的要求。实验结果验证了该方法在实际应用中的有效性。
🎯 应用场景
该研究成果可广泛应用于微电网能量管理、智能交通系统、机器人控制等领域。通过降低在线计算复杂度，可以实现对复杂系统的实时优化控制，提高系统的运行效率和稳定性。未来，该方法有望推广到更多混合逻辑动态系统的控制问题中，推动相关领域的发展。
📄 摘要（原文）
This work proposes an approach that integrates reinforcement learning and model predictive control (MPC) to solve finite-horizon optimal control problems in mixed-logical dynamical systems efficiently. Optimization-based control of such systems with discrete and continuous decision variables entails the online solution of mixed-integer linear programs, which suffer from the curse of dimensionality. Our approach aims to mitigate this issue by decoupling the decision on the discrete variables from the decision on the continuous variables. In the proposed approach, reinforcement learning determines the discrete decision variables and simplifies the online optimization problem of the MPC controller from a mixed-integer linear program to a linear program, significantly reducing the computational time. A fundamental contribution of this work is the definition of the decoupled Q-function, which plays a crucial role in making the learning problem tractable in a combinatorial action space. We motivate the use of recurrent neural networks to approximate the decoupled Q-function and show how they can be employed in a reinforcement learning setting. Simulation experiments on a microgrid system using real-world data demonstrate that the proposed method substantially reduces the online computation time of MPC while maintaining high feasibility and low suboptimality.