ContractionPPO: Certified Reinforcement Learning via Differentiable Contraction Layers

📄 arXiv: 2603.19632v1 📥 PDF

作者: Vrushabh Zinage, Narek Harutyunyan, Eric Verheyden, Fred Y. Hadaegh, Soon-Jo Chung

分类: cs.RO, eess.SY

发布日期: 2026-03-20

备注: Accepted to RA-L journal

💡 一句话要点

ContractionPPO：基于可微收缩层的强化学习，实现四足机器人鲁棒控制

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 鲁棒控制 四足机器人 收缩理论 可认证控制

📋 核心要点

  1. 四足机器人在非结构化环境中的运动需要高性能控制策略和形式化保证，以确保在扰动下的鲁棒性。
  2. ContractionPPO通过引入可微收缩层，在PPO强化学习中同时优化性能和生成收缩度量，从而保证闭环系统的稳定性。
  3. 硬件实验表明，ContractionPPO即使在强扰动下也能实现鲁棒控制，并验证了从仿真到真实世界的泛化能力。

📝 摘要（中文）

本文提出ContractionPPO，一个用于四足机器人认证鲁棒规划和控制的框架。该框架通过使用状态相关的收缩度量层增强近端策略优化（PPO）强化学习算法，使策略在最大化性能的同时，生成一个收缩度量，以验证模拟闭环系统的增量指数稳定性。该度量被参数化为一个Lipschitz神经网络，并与策略并行训练或作为PPO主干的辅助头进行联合训练。虽然收缩度量在实际部署中不使用，但我们推导出最坏情况收缩率的上限，并表明这些上限确保了学习到的收缩度量从仿真到真实世界的泛化能力。在四足机器人运动的硬件实验表明，即使在强烈的外部扰动下，ContractionPPO也能实现鲁棒、可认证稳定的控制。

🔬 方法详解

问题定义：现有控制方法通常需要精心设计的参考轨迹，但在高维、富含接触的系统中（如四足机器人）难以构建。强化学习可以直接学习策略，隐式地生成运动，并能利用训练期间可用的特权信息（如完整状态和动力学），而这些信息在部署时不可用。因此，如何利用强化学习实现四足机器人的鲁棒控制，并提供形式化的稳定性保证，是一个关键问题。

核心思路：ContractionPPO的核心思路是将强化学习与收缩理论相结合。通过在PPO框架中引入一个可微的收缩度量层，策略在学习过程中不仅要最大化性能（例如，运动速度、稳定性），还要同时学习一个状态相关的收缩度量。这个收缩度量能够验证闭环系统的增量指数稳定性，从而提供形式化的鲁棒性保证。

技术框架：ContractionPPO的整体框架包括以下几个主要部分：1) PPO强化学习算法：用于学习控制策略；2) 可微收缩度量层：参数化为一个Lipschitz神经网络，用于评估系统的收缩性；3) 联合训练机制：策略和收缩度量层可以并行训练，也可以将收缩度量层作为PPO主干网络的辅助头进行联合训练。在训练完成后，只部署学习到的策略，而收缩度量仅用于验证策略的稳定性。

关键创新：ContractionPPO的关键创新在于将收缩理论与深度强化学习相结合，提出了一种可学习的收缩度量。与传统的基于模型的控制方法相比，ContractionPPO不需要预先设计参考轨迹，而是直接从数据中学习策略和稳定性证明。此外，通过Lipschitz神经网络参数化收缩度量，使得度量具有良好的泛化能力。

关键设计：收缩度量层被设计为一个Lipschitz神经网络，以确保其输出的平滑性和有界性。损失函数包括两部分：PPO的策略优化损失和收缩度量的正则化损失。正则化损失鼓励学习到的收缩度量满足收缩性条件，并限制其Lipschitz常数。此外，论文还推导了最坏情况收缩率的上限，用于保证学习到的收缩度量从仿真到真实世界的泛化能力。

📊 实验亮点

在四足机器人硬件实验中，ContractionPPO在受到强烈外部扰动的情况下，仍然能够保持稳定的运动。实验结果表明，ContractionPPO学习到的策略具有良好的鲁棒性，并且学习到的收缩度量能够有效地验证策略的稳定性。此外，论文还验证了学习到的收缩度量从仿真到真实世界的泛化能力，证明了该方法在实际应用中的可行性。

🎯 应用场景

ContractionPPO可应用于各种需要鲁棒控制的机器人系统，例如四足机器人、人形机器人和无人机。该方法能够保证机器人在复杂和不确定环境中的稳定性，提高其适应性和可靠性。此外，该框架还可以扩展到其他控制任务，例如轨迹跟踪和避障，为机器人自主导航和操作提供更强的保障。

📄 摘要（原文）

Legged locomotion in unstructured environments demands not only high-performance control policies but also formal guarantees to ensure robustness under perturbations. Control methods often require carefully designed reference trajectories, which are challenging to construct in high-dimensional, contact-rich systems such as quadruped robots. In contrast, Reinforcement Learning (RL) directly learns policies that implicitly generate motion, and uniquely benefits from access to privileged information, such as full state and dynamics during training, that is not available at deployment. We present ContractionPPO, a framework for certified robust planning and control of legged robots by augmenting Proximal Policy Optimization (PPO) RL with a state-dependent contraction metric layer. This approach enables the policy to maximize performance while simultaneously producing a contraction metric that certifies incremental exponential stability of the simulated closed-loop system. The metric is parameterized as a Lipschitz neural network and trained jointly with the policy, either in parallel or as an auxiliary head of the PPO backbone. While the contraction metric is not deployed during real-world execution, we derive upper bounds on the worst-case contraction rate and show that these bounds ensure the learned contraction metric generalizes from simulation to real-world deployment. Our hardware experiments on quadruped locomotion demonstrate that ContractionPPO enables robust, certifiably stable control even under strong external perturbations.