Energy-Aware Path Following: Comparative Analysis of Reinforcement Learning and NMPC for Electric Vehicles

📄 arXiv: 2610.08112v1 📥 PDF

作者: Mohamed Sabaa, Mostafa Emam

分类: cs.RO, cs.LG, eess.SY

发布日期: 2026-10-06

备注: 20 pages, 12 figures, currently submitted for review at the journal (Robotics and Autonomous Systems) https://www.sciencedirect.com/journal/robotics-and-autonomous-systems

💡 一句话要点

提出能量感知路径跟踪控制策略以优化电动车性能

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 路径跟踪 电动车 再生制动 强化学习 非线性模型预测控制 能量优化 策略迁移

📋 核心要点

  1. 现有路径跟踪控制方法未能充分考虑电动车的能量回收特性，导致续航能力受限。
  2. 本文提出了一种基于Frenet框架的控制策略，通过比较NMPC与PPO等多种控制器，优化电动车的路径跟踪性能。
  3. 实验结果表明，PPO策略在多种未见轨迹上表现出良好的迁移能力，且在动态单轨车辆模型中也能实现可接受的初始性能。

📝 摘要（中文）

路径跟踪控制策略通常面临双目标优化困境：在最小化偏离参考路径的同时保持平滑的速度曲线。对于电动车（EV）而言，后者尤为重要，因为其有限的续航里程可以通过再生制动来回收能量，而这一特性在文献中尚未得到充分研究。本文对四种控制器进行了比较分析，基于统一的Frenet框架运动模型，利用经过验证的能量模型（VT-CPEM）并明确考虑再生制动。我们实现了非线性模型预测控制（NMPC）、近端策略优化（PPO）、增益调度Ackermann状态反馈基线（PID-SF）和Stanley几何基线。通过实验证明，PPO策略能够成功迁移到未见轨迹上，展示了其在更复杂车辆模型中的可转移性。

🔬 方法详解

问题定义：本文旨在解决电动车路径跟踪控制中能量回收不足的问题，现有方法未能有效整合再生制动特性，影响续航表现。

核心思路：通过比较多种控制器，包括NMPC和PPO，利用Frenet框架和VT-CPEM能量模型，优化路径跟踪控制，提升电动车的能量效率。

技术框架：整体架构包括四个主要模块：基于Frenet框架的运动模型、能量模型（VT-CPEM）、控制器实现（NMPC和PPO），以及策略迁移和性能评估。

关键创新：本文的主要创新在于将再生制动明确纳入路径跟踪控制策略中，并通过PPO实现策略的高效迁移，超越传统控制方法的局限。

关键设计：在PPO训练中，采用传统直线和S型曲线轨迹进行训练，确保策略在多种未见轨迹上表现良好；NMPC则通过JIT编译的CasADi实现实时控制。实验中对策略进行了细致的调优，确保在动态环境下的稳定性和性能。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，PPO策略在多种未见轨迹上成功迁移，且在动态单轨车辆模型中实现了可接受的初始性能，经过短时间的微调后进一步优化，展示了较传统控制方法的显著提升。

🎯 应用场景

该研究的潜在应用领域包括智能交通系统和自动驾驶电动车，能够有效提升电动车的续航能力和行驶安全性。未来，优化的路径跟踪控制策略可广泛应用于城市交通、物流配送等场景，推动电动车技术的发展。

📄 摘要（原文）

Path-following control strategies typically follow the bi-objective optimization dilemma: minimizing deviations from a reference path while maintaining smooth speed profiles. The latter objective is especially relevant for Electric Vehicles (EVs), since their limited driving range can be extended by recovering energy through regenerative braking, a feature that has not yet been sufficiently studied in the literature. In this work, we perform a comparative analysis of four controllers under one common Frenet frame-based kinematic vehicle model, utilizing a validated energy model (VT-CPEM) with explicit regenerative braking. Herein, we implement the following controllers: Nonlinear Model Predictive Control (NMPC), Proximal Policy Optimization (PPO), gain-scheduled Ackermann state-feedback baseline (PID-SF), and a Stanley geometric baseline. To satisfy real-time requirements, we implement the NMPC using JIT-compiled CasADi. Moreover, we train the PPO using traditional straight and S-curve tracks, after which we successfully transfer the unmodified policy to unseen tracks, including: an ISO 3888-1 lane-change, a chicane, randomly-generated parameterized-splines, and a $\pm3^\circ$ graded road. In addition, the policy transfers to a dynamic single-track vehicle model with linear tires, zero-shot with an acceptable initial performance, which was optimized after brief fine-tuning. Thereby, we demonstrate that our PPO is readily transferable to more comprehensive vehicle models. We conclude with a performance analysis of developed controllers and discuss ideas for future work.