Deep Reinforcement Learning-Aided Frequency Control of LCC-S Resonant Converters for Wireless Power Transfer Systems

📄 arXiv: 2505.01850v1 📥 PDF

作者: Reza Safari, Mohsen Hamzeh, Nima Mahdian Dehkordi

分类: eess.SY

发布日期: 2025-05-03

💡 一句话要点

提出基于DRL的LCC-S谐振变换器频率控制方法，用于无线电力传输系统。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 无线电力传输 LCC-S谐振变换器 频率控制 TD3算法

📋 核心要点

  1. 传统LCC-S谐振变换器依赖手动调整PI参数，难以适应无线电力传输系统复杂动态变化。
  2. 利用TD3算法优化PI控制器参数，结合DPWA建模处理非线性，实现自适应控制。
  3. 仿真和实验表明，该方法在稳定性、鲁棒性和响应时间上优于传统方法，验证了DRL的潜力。

📝 摘要（中文）

本文提出了一种基于深度强化学习（DRL）的控制策略，用于在LCC-S谐振变换器中实现精确且鲁棒的输出电压调节，该变换器专为无线电力传输应用而设计。与依赖手动调整的PI控制器或启发式调整方法的传统方法不同，我们的方法利用双延迟深度确定性策略梯度（TD3）算法来系统地优化PI控制器参数。使用直接分段仿射（DPWA）建模技术捕获复杂的转换器动态，从而为处理其非线性提供了一种结构化方法。这种集成不仅消除了手动调整的需要，而且增强了在各种操作条件下的控制适应性。仿真和实验结果证实，所提出的基于DRL的调整方法在稳定性、鲁棒性和响应时间方面明显优于传统方法。这项工作展示了DRL在电力电子控制中的潜力，为传统的控制器设计方法提供了一种可扩展的、数据驱动的替代方案。

🔬 方法详解

问题定义：论文旨在解决无线电力传输系统中LCC-S谐振变换器的精确输出电压调节问题。传统方法依赖于手动调整的PI控制器，这在面对复杂和非线性系统动态时表现出局限性，需要耗时且低效的手动调参过程，难以保证在不同工况下的控制性能。现有启发式调整方法也存在类似问题，缺乏系统性和自适应性。

核心思路：论文的核心思路是利用深度强化学习（DRL）算法，特别是TD3算法，来自动优化PI控制器的参数。通过将控制器参数调整问题建模为强化学习任务，智能体可以在与环境交互的过程中学习到最优的控制策略，从而实现对LCC-S谐振变换器的精确控制。这种方法旨在消除手动调整的需要，并提高控制系统的自适应性和鲁棒性。

技术框架：整体框架包含LCC-S谐振变换器模型、DRL智能体（TD3）和奖励函数设计三个主要部分。首先，使用直接分段仿射（DPWA）建模技术对LCC-S谐振变换器的动态特性进行建模，以便DRL智能体能够理解和预测系统的行为。然后，TD3智能体与环境（即LCC-S谐振变换器模型）进行交互，通过观察系统的状态（例如输出电压），并采取动作（即调整PI控制器参数），来学习最优的控制策略。最后，根据系统的性能（例如输出电压的稳定性和响应速度）设计奖励函数，用于指导DRL智能体的学习过程。

关键创新：该论文的关键创新在于将DRL技术应用于LCC-S谐振变换器的控制器参数优化。与传统的手动调整或启发式方法相比，DRL方法能够自动学习最优的控制策略，从而提高控制系统的性能和鲁棒性。此外，使用DPWA建模技术来处理LCC-S谐振变换器的非线性动态特性，也为DRL智能体的学习提供了更准确的环境模型。

关键设计：TD3算法被选择作为DRL智能体的核心算法，因为它具有较好的稳定性和收敛性。奖励函数的设计至关重要，它直接影响DRL智能体的学习效果。论文中，奖励函数可能包含输出电压的跟踪误差、稳定时间、超调量等指标，以引导智能体学习到能够实现精确输出电压调节的控制策略。具体的网络结构和超参数设置（例如学习率、折扣因子等）未知，需要在实验中进行调整和优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于DRL的控制方法在稳定性、鲁棒性和响应时间方面均优于传统的手动调整PI控制器。具体性能数据未知，但摘要中明确指出“显著优于传统方法”，表明该方法具有明显的性能优势。该研究验证了DRL在电力电子控制领域的有效性，为未来的控制器设计提供了一种新的思路。

🎯 应用场景

该研究成果可广泛应用于无线充电领域，例如电动汽车无线充电、便携式电子设备无线充电、医疗设备无线充电等。通过提高无线电力传输系统的效率和稳定性，可以减少能量损耗，延长设备使用寿命，并提高用户体验。此外，该方法还可以推广到其他电力电子变换器的控制领域，具有重要的实际应用价值和未来发展潜力。

📄 摘要（原文）

This paper presents a novel deep reinforcement learning (DRL)-based control strategy for achieving precise and robust output voltage regulation in LCC-S resonant converters, specifically designed for wireless power transfer applications. Unlike conventional methods that rely on manually tuned PI controllers or heuristic tuning approaches, our method leverages the Twin Delayed Deep Deterministic Policy Gradient (TD3) algorithm to systematically optimize PI controller parameters. The complex converter dynamics are captured using the Direct Piecewise Affine (DPWA) modeling technique, providing a structured approach to handling its nonlinearities. This integration not only eliminates the need for manual tuning, but also enhances control adaptability under varying operating conditions. The simulation and experimental results confirm that the proposed DRL-based tuning approach significantly outperforms traditional methods in terms of stability, robustness, and response time. This work demonstrates the potential of DRL in power electronic control, offering a scalable and data-driven alternative to conventional controller design approaches.