Hierarchical Control via MPC-RL for Multi-Timescale Battery Systems

📄 arXiv: 2610.03508v1 📥 PDF

作者: Rasa Pourjam, Ehecatl Antonio del Río Chanona, Paulina Quintanilla

分类: eess.SY

发布日期: 2026-10-02

💡 一句话要点

提出层次控制框架解决多时间尺度电池系统问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 层次控制 模型预测控制 强化学习 电池储能 多时间尺度系统 优化决策 经济效益 可持续发展

📋 核心要点

  1. 多时间尺度系统的决策过程面临快速与慢速目标之间的矛盾，现有方法难以有效平衡。
  2. 本文提出的层次控制框架结合MPC与RL，分别处理长期与短期决策，优化系统性能。
  3. 实验结果表明，该方法显著延长电池寿命和提高运营利润，分别达到84%和34%的提升。

📝 摘要（中文）

多时间尺度系统面临快速操作决策与长期可持续目标共存的挑战。本文提出了一种新的层次控制框架，通过模型预测控制（MPC）和强化学习（RL）分离两个不同时间尺度的决策。高层MPC优化慢动态下的长期设定点，而低层预训练的RL代理实时跟踪这些设定点以最大化短期目标。RL用于学习非线性控制策略，无需依赖模型线性化或进行重复的最优控制问题的在线计算。该框架应用于电池储能系统（BESS），在频率调节市场中平衡快速利润机会与缓慢电池退化。设计中采用了一个离线训练的退化感知RL代理生成安全的长期设定点，以及一个从中微调的退化无关代理用于快速运行时设定点跟踪。与MPC基线相比，该方法成功延长电池寿命84%，并提高运营利润34%。

🔬 方法详解

问题定义：本文旨在解决多时间尺度电池系统中快速操作决策与长期可持续目标之间的矛盾。现有方法往往无法有效处理这两者的平衡，导致电池寿命缩短和利润降低。

核心思路：论文提出的层次控制框架通过将决策过程分为高层MPC和低层RL代理，分别优化长期设定点和短期目标，从而实现高效的决策制定。这样的设计允许系统在不同时间尺度上进行优化，避免了传统方法的局限性。

技术框架：整体架构包括两个主要模块：高层MPC负责生成长期设定点，低层RL代理则实时跟踪这些设定点。高层MPC优化慢动态下的目标，而低层RL代理则通过在线学习来适应快速变化的环境。

关键创新：最重要的技术创新在于将MPC与RL结合，利用RL学习非线性控制策略，避免了对模型的线性化和重复在线计算的需求。这种方法在处理复杂动态系统时具有显著优势。

关键设计：设计中采用了一个退化感知的RL代理进行离线训练，以生成安全的长期设定点，并从中微调出一个退化无关的代理用于快速运行时的设定点跟踪。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提出的方法相比于传统的MPC基线，成功延长了电池的使用寿命84%，并提高了运营利润34%。这些显著的提升表明该框架在实际应用中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括电池储能系统、可再生能源管理和智能电网等。通过优化电池的使用效率和延长其寿命，能够在实际应用中实现更高的经济效益和环境可持续性。未来，该框架也可扩展到其他多时间尺度的控制问题，具有广泛的应用前景。

📄 摘要（原文）

Multi-timescale systems present a fundamental challenge, where fast operational decisions must coexist with long-horizon sustainability targets. In this work, we propose a new hierarchical control framework via Model Predictive Control (MPC) and Reinforcement Learning (RL) to separate decision-making on two distinct timescales. The high-level MPC optimizes long-horizon setpoints at the slow dynamic and on a fast timescale, a low-level pretrained RL agent tracks these setpoints in real time to maximize short-term objectives. RL is introduced to learn nonlinear control policies, without relying on model linearizations or requiring the heavy online computation from solving repeated optimal control problems. The framework is applied to a Battery Energy Storage System (BESS) operating in frequency regulation markets to balance fast profit opportunities (seconds) and slow battery degradation (weeks to months). The design employs a degradation-aware RL agent trained offline to generate safe long-horizon setpoints, and a degradation-unaware agent fine-tuned from it for fast runtime setpoint tracking. Compared to MPC baselines, the proposed approach successfully extends battery lifetime by 84% and increases operational profit by 34%.