Lipschitz-Based Robustness Certification for Recurrent Neural Networks via Convex Relaxation

📄 arXiv: 2509.17898v1 📥 PDF

作者: Paul Hamelbeck, Johannes Schiffer

分类: eess.SY, cs.LG

发布日期: 2025-09-22

备注: 10 pages, 3 figures,

💡 一句话要点

提出RNN-SDP，通过凸松弛进行循环神经网络的基于Lipschitz的鲁棒性认证

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 循环神经网络 鲁棒性认证 凸松弛 半定规划 Lipschitz常数 模型预测控制 安全关键系统

📋 核心要点

  1. 循环神经网络在安全关键控制系统中部署时，需要保证其对输入噪声和对抗扰动的鲁棒性，现有方法存在不足。
  2. RNN-SDP方法的核心思想是将RNN的层间交互建模为凸问题，通过半定规划计算Lipschitz常数的认证上界。
  3. 实验表明，RNN-SDP能够产生相对紧凑且可认证的鲁棒性界限，即使序列长度增加也是如此，并强调了初始化误差的重要性。

📝 摘要（中文）

本文提出了一种名为RNN-SDP的基于松弛的方法，用于解决循环神经网络（RNNs）在安全关键控制应用中，抵抗有界输入噪声或对抗扰动的鲁棒性认证问题。该方法将RNN的层间交互建模为一个凸问题，并通过半定规划（SDP）计算Lipschitz常数的认证上界。此外，还探索了一种结合已知输入约束的扩展方法，以进一步收紧Lipschitz界。RNN-SDP在一个合成的多罐系统上进行了评估，并将上界与经验估计进行了比较。虽然结合输入约束仅产生适度的改进，但该方法总体上产生了相当紧凑且可认证的界限，即使序列长度增加也是如此。结果还强调了经常被低估的初始化误差的影响，这对于模型经常被重新初始化的应用（如模型预测控制（MPC））来说是一个重要的考虑因素。

🔬 方法详解

问题定义：论文旨在解决循环神经网络（RNNs）在面对有界输入噪声或对抗扰动时，鲁棒性认证的问题。现有的鲁棒性认证方法可能无法提供紧凑的界限，或者计算复杂度过高，难以应用于实际的控制系统。特别是在模型预测控制（MPC）等需要频繁重新初始化模型的场景下，初始化误差的影响往往被忽略。

核心思路：论文的核心思路是将RNN的层间交互建模为一个凸优化问题，具体来说，利用半定规划（SDP）来计算RNN的Lipschitz常数的上界。Lipschitz常数可以用来衡量RNN输出对输入变化的敏感程度，从而提供一个可认证的鲁棒性保证。通过凸松弛，可以将非凸的RNN优化问题转化为一个可以高效求解的凸问题。

技术框架：RNN-SDP方法主要包含以下几个阶段：1) 将RNN的层间交互关系表示为一系列约束条件。2) 将这些约束条件转化为半定规划（SDP）问题。3) 求解SDP问题，得到Lipschitz常数的上界。4) 利用得到的Lipschitz常数上界，对RNN的鲁棒性进行认证。此外，论文还探索了如何将已知的输入约束纳入到SDP问题中，以进一步收紧Lipschitz界。

关键创新：该方法最重要的创新点在于利用凸松弛和半定规划，为RNN的鲁棒性认证提供了一种可计算且相对紧凑的界限。与传统的基于区间算术或线性规划的方法相比，SDP能够更好地捕捉RNN的非线性特性，从而提供更准确的鲁棒性保证。此外，该方法还考虑了输入约束对鲁棒性的影响，并强调了初始化误差在实际应用中的重要性。

关键设计：论文的关键设计包括：1) 如何将RNN的层间交互关系精确地表示为凸约束。2) 如何选择合适的半定规划松弛方法，以保证求解效率和界限的紧凑性。3) 如何将输入约束有效地纳入到SDP问题中。4) 实验中，选择了一个合成的多罐系统作为评估对象，并比较了RNN-SDP方法得到的Lipschitz常数上界与经验估计值。论文还分析了不同序列长度和初始化误差对鲁棒性认证结果的影响。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，RNN-SDP方法能够为循环神经网络提供相对紧凑且可认证的鲁棒性界限，即使序列长度增加也是如此。虽然结合输入约束仅带来适度的改进，但该方法在整体上表现良好。此外，实验还强调了初始化误差对鲁棒性的显著影响，这在模型预测控制等应用中尤为重要。论文将RNN-SDP方法得到的Lipschitz常数上界与经验估计进行了比较，验证了该方法的有效性。

🎯 应用场景

该研究成果可应用于安全关键的控制系统，例如自动驾驶、机器人控制、航空航天等领域。通过提供可认证的鲁棒性保证，可以提高这些系统在面对不确定性和对抗攻击时的可靠性。此外，该方法还可以用于模型预测控制（MPC）等需要频繁重新初始化模型的场景，帮助工程师更好地理解和控制初始化误差对系统性能的影响。

📄 摘要（原文）

Robustness certification against bounded input noise or adversarial perturbations is increasingly important for deployment recurrent neural networks (RNNs) in safety-critical control applications. To address this challenge, we present RNN-SDP, a relaxation based method that models the RNN's layer interactions as a convex problem and computes a certified upper bound on the Lipschitz constant via semidefinite programming (SDP). We also explore an extension that incorporates known input constraints to further tighten the resulting Lipschitz bounds. RNN-SDP is evaluated on a synthetic multi-tank system, with upper bounds compared to empirical estimates. While incorporating input constraints yields only modest improvements, the general method produces reasonably tight and certifiable bounds, even as sequence length increases. The results also underscore the often underestimated impact of initialization errors, an important consideration for applications where models are frequently re-initialized, such as model predictive control (MPC).