Predefined-Time Integral Reinforcement Learning for Unknown Nonlinear Systems via Inverse-Optimal Design
作者: Tien Dat Vu
分类: eess.SY
发布日期: 2026-10-08
💡 一句话要点
提出预定义时间积分强化学习框架以优化未知非线性系统
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 非线性系统 李雅普诺夫稳定性 神经网络 逆最优控制 动态系统 控制理论
📋 核心要点
- 现有的强化学习方法在处理未知非线性系统时，缺乏对收敛时间的有效控制，导致稳定性和性能不确定。
- 本文提出了一种通过RBF神经网络近似未知漂移，并结合逆最优控制的方法，直接将收敛时间纳入控制目标。
- 实验结果表明，该方法在未知非线性系统上实现了准确的漂移重构和闭环收敛，验证了预定义时间学习的有效性。
📝 摘要（中文）
本文开发了一种新的预定义时间积分强化学习框架，用于未知非线性系统的最优控制。首先，通过径向基函数（RBF）神经网络对未知漂移进行近似，并结合数据驱动的在线识别法更新相应的神经权重。在识别器收敛到真实动态的足够小邻域后，将学习到的模型纳入积分强化学习（IRL）问题中。与传统的基于强化学习的最优控制不同，设计者直接将期望的收敛时间引入控制目标中：通过指定一个李雅普诺夫函数及其预定衰减行为，利用逆最优控制构建兼容的运行成本，从而使得最优策略继承预定义时间稳定性。理论分析证明了评论者权重误差在分配的学习时间内进入预定残差集，而闭环状态在整体设计者指定的截止时间内达到原点的小邻域。数值仿真验证了漂移重构的准确性、预定义时间评论学习和闭环收敛性。
🔬 方法详解
问题定义：本文旨在解决未知非线性系统的最优控制问题，现有方法在收敛时间控制上存在不足，无法保证系统稳定性和性能。
核心思路：通过使用RBF神经网络对未知漂移进行近似，并结合数据驱动的在线识别法，构建一个预定义时间的积分强化学习框架，以实现对收敛时间的有效控制。
技术框架：整体架构包括两个主要模块：首先是漂移识别模块，通过RBF神经网络进行动态近似；其次是积分强化学习模块，利用逆最优控制构建运行成本，确保系统在预定时间内收敛。
关键创新：最重要的技术创新在于将预定义时间直接引入控制目标中，利用李雅普诺夫函数的衰减行为来设计运行成本，从而实现了与传统方法的本质区别。
关键设计：在技术细节上，采用了两层RBF神经网络来近似值函数，并设计了新的评论者更新法则，以强制执行预定义时间收敛，同时在闭环操作中使用重放缓冲区存储有限的学习数据，避免了持续激励的需求。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提方法在未知非线性系统上实现了准确的漂移重构，预定义时间评论学习的收敛性得到了验证。与基线方法相比，闭环状态在指定截止时间内达到原点的小邻域，提升幅度显著，证明了该方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶、无人机飞行控制等需要高精度和高可靠性的动态系统。通过实现对未知非线性系统的有效控制，能够显著提升这些领域的系统性能和安全性，具有重要的实际价值和未来影响。
📄 摘要（原文）
This paper develops a new predefined-time integral reinforcement learning framework for optimal control of unknown nonlinear systems. The unknown drift is first approximated by a radial basis function (RBF) neural network, together with a data-driven online identification law for updating the corresponding neural weights. After the identifier converges to a sufficiently small neighborhood of the true dynamics, the learned model is incorporated into the integral reinforcement learning (IRL) problem. Unlike conventional reinforcement-learning-based optimal control, the desired convergence time is introduced directly into the control objective: a Lyapunov function and its prescribed decay behavior are specified by the designer, and inverse-optimal control is then used to construct a compatible running cost whose optimal policy inherits the predefined-time stabilization property. The value function is approximated by a second RBF neural network, and a new critic update law is developed to impose predefined-time convergence on the critic weights. Finite informative learning data are stored in a replay buffer and reused during the critic update, thereby avoiding the need for persistent excitation throughout the closed-loop operation. Theoretical analysis proves that the critic-weight error enters a prescribed residual set within the allocated learning horizon, while the closed-loop state reaches a small neighborhood of the origin within the overall designer-specified deadline. Numerical simulations on an unknown nonlinear system verify accurate drift reconstruction, predefined-time critic learning, and closed-loop convergence.