Filter-Augmented Reinforcement Learning for Battery Fast Charging with State of Health and Plating-Aware Reward Design

📄 arXiv: 2610.22787v1 📥 PDF

作者: Meng Yuan, Yang Li, Changfu Zou

分类: eess.SY

发布日期: 2026-10-16

💡 一句话要点

提出滤波增强强化学习框架以实现电池快速充电

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 电池管理 快速充电 健康状态 滤波技术 电动汽车 TD3算法

📋 核心要点

  1. 现有的快速充电方法在提升充电速度的同时，往往忽视了电池的健康状态，导致安全风险和电池寿命缩短。
  2. 本文提出了一种滤波增强的强化学习框架，通过结合健康状态信息和电压惩罚项，优化充电策略以兼顾速度与寿命。
  3. 实验结果显示，所提方法在不同噪声条件下均显著提升了电池的充电循环次数，表现出优越的性能。

📝 摘要（中文）

锂离子电池的快速充电对电动车的普及至关重要，但会增加安全风险并加速电池老化。为此，本文提出了一种基于双延迟深度确定性策略梯度（TD3）算法的滤波增强强化学习框架，旨在实现终身健康感知的快速充电。该框架通过结合健康状态（SoH）信息和基于SoH的电压惩罚项，设计了一个平衡充电速度与电池寿命的奖励函数。由于SoH估计不可避免地受到噪声的影响，本文集成了两种滤波策略：在噪声统计未知时使用指数移动平均（EMA）滤波器，在已知时使用卡尔曼滤波器，并将滤波后的估计嵌入到智能体的状态和奖励计算中。实验结果表明，该方法在2% SoH估计噪声下，相比传统的恒流-恒压（CC-CV）充电方式，获得了高达21.4%的等效全循环（EFC）提升，并在5%噪声下仍保持这一优势，同时充电速度相当。

🔬 方法详解

问题定义：本文旨在解决锂离子电池快速充电过程中，充电速度与电池健康状态之间的矛盾。现有方法往往未能有效考虑电池的健康状态，导致安全隐患和寿命缩短。

核心思路：论文的核心思路是通过滤波增强的强化学习框架，结合健康状态（SoH）信息和电压惩罚项，设计一个奖励函数，以平衡充电速度与电池寿命。这样设计能够在快速充电的同时，确保电池的健康状态得到有效维护。

技术框架：整体架构包括数据采集、状态估计、奖励计算和策略训练四个主要模块。数据采集通过高保真生命周期模拟获取，状态估计使用滤波器处理噪声，奖励计算结合SoH信息，策略训练则基于TD3算法进行。

关键创新：最重要的技术创新在于将滤波技术与强化学习相结合，尤其是针对SoH估计噪声的处理，显著提升了充电策略的有效性和安全性。这一方法与传统的恒流-恒压充电方式相比，具有更好的适应性和灵活性。

关键设计：在参数设置上，采用了基于SoH的电压惩罚项，损失函数设计考虑了充电速度与电池寿命的权衡。网络结构上，使用了TD3算法的双延迟策略更新机制，以提高学习效率和稳定性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，所提滤波增强强化学习方法在2% SoH估计噪声下，相比传统的恒流-恒压充电方式，获得了高达21.4%的等效全循环（EFC）提升。在5%噪声条件下，仍能保持这一性能优势，同时充电速度相当，显示出该方法的有效性和鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括电动汽车的快速充电系统、可再生能源存储解决方案以及电池管理系统等。通过优化充电策略，能够有效延长电池使用寿命，提高安全性，促进电动车的普及和可持续发展。

📄 摘要（原文）

Fast charging of lithium-ion batteries is crucial for electric vehicle adoption, yet it increases safety risks and accelerates battery ageing. To address this, we propose a filter-augmented reinforcement learning (RL) framework for lifelong health-aware fast charging, based on the twin-delayed deep deterministic policy gradient (TD3) algorithm. The RL agent is guided by a reward function that balances charging speed and battery longevity through the incorporation of state of health (SoH) information and an SoH-dependent voltage penalty term derived from a constant--current constant--overpotential charging strategy. Since onboard SoH estimates are inevitably corrupted by noise, two filtering strategies are integrated: an exponential moving average (EMA) filter when noise statistics are unknown, and a Kalman filter when they are available, with the filtered estimate embedded in both the agent's state and reward computation. The RL policy is trained using data from high-fidelity life-cycle simulations. The evaluation uses a published electrochemical and degradation parameterisation for a commercial LG M50 cell. Results show that the proposed method achieves up to 21.4\% more equivalent full cycles (EFCs) than conventional constant current--constant voltage (CC--CV) charging under 2\% SoH estimation noise, and maintains this lifetime advantage even under 5\% noise, while sustaining comparable charging speed.