Continual uncertainty learning

📄 arXiv: 2602.17174v1 📥 PDF

作者: Heisei Yonezawa, Ansei Yonezawa, Itsuro Kajiwara

分类: cs.LG, cs.AI, eess.SY

发布日期: 2026-02-19

💡 一句话要点

提出基于课程学习的持续不确定性学习框架，用于解决多重不确定性下的机械系统鲁棒控制问题。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 持续学习 课程学习 鲁棒控制 深度强化学习 不确定性建模 sim-to-real 机械系统 主动振动控制

📋 核心要点

  1. 多重不确定性下的机械系统鲁棒控制面临挑战，现有方法难以同时处理所有不确定性，导致策略次优和学习效率低下。
  2. 论文提出基于课程学习的持续学习框架，将复杂问题分解为多个子任务，逐步学习处理不同类型的不确定性。
  3. 实验表明，该方法在汽车动力总成主动振动控制中表现出良好的鲁棒性和sim-to-real迁移能力，验证了其有效性。

📝 摘要（中文）

本研究针对具有多重不确定性的非线性动力学系统鲁棒控制问题，提出了一种基于课程学习的持续学习框架。该框架将复杂控制问题分解为一系列持续学习任务，依次学习处理每种不确定性的策略。通过逐步扩展和多样化动态不确定性，将原始系统扩展为有限的工厂集合。策略在与不同不确定性配置相关的任务的整个工厂集合中稳定更新，避免灾难性遗忘。为了提高学习效率，将基于模型的控制器(MBC)融入学习过程，保证了工厂集合的共享基线性能，加速收敛。这种残差学习方案促进了DRL代理针对每种不确定性的特定任务优化，从而提高了样本效率。该方法应用于汽车动力总成的主动振动控制器设计，验证了控制器对结构非线性和动态变化的鲁棒性，实现了成功的sim-to-real迁移。

🔬 方法详解

问题定义：论文旨在解决非线性动力学系统中存在多重不确定性时的鲁棒控制问题。现有方法，如直接使用深度强化学习（DRL）结合领域随机化，在同时处理所有不确定性时，往往导致控制策略的性能下降和学习效率低下。这是因为不同类型的不确定性之间可能存在冲突，使得DRL难以找到一个通用的最优策略。

核心思路：论文的核心思路是将一个复杂的、包含多种不确定性的控制问题分解为一系列的持续学习任务。每个任务专注于学习如何处理一种或几种特定的不确定性。通过逐步引入和增加不确定性的复杂程度，DRL代理可以循序渐进地学习到鲁棒的控制策略。这种课程学习的方式可以避免一次性面对所有不确定性带来的挑战，提高学习效率和最终策略的性能。

技术框架：整体框架包含以下几个关键模块：1) 环境建模：将原始系统扩展为一组有限的“工厂”，每个工厂代表一种特定的不确定性配置。2) 课程学习任务定义：定义一系列持续学习任务，每个任务对应于工厂集合中的一个子集，不确定性逐步增加。3) 策略学习：使用DRL算法（具体算法未知）在每个任务上训练控制策略。4) 基于模型的控制器(MBC)：引入MBC作为基线控制器，为所有工厂提供共享的性能基线，加速DRL的学习过程。5) 残差学习：DRL代理学习MBC的残差控制量，专注于对特定不确定性的优化。

关键创新：论文的关键创新在于将持续学习和课程学习的思想应用于鲁棒控制问题，并结合了基于模型的控制方法。这种方法能够有效地分解复杂的不确定性，并利用DRL的强大学习能力来优化控制策略。与传统的领域随机化方法相比，该方法能够更有效地处理多重不确定性，并提高学习效率。

关键设计：论文的关键设计包括：1) 课程设计：如何设计课程，即如何安排不同不确定性任务的顺序和难度，是影响学习效果的关键。具体的设计细节未知。2) 残差学习框架：如何有效地将MBC与DRL结合，使得DRL能够专注于学习残差控制量，也是一个重要的设计考虑。3) DRL算法选择：选择合适的DRL算法，并针对具体问题进行调整，以提高学习效率和策略性能。具体的DRL算法选择未知。

📊 实验亮点

该研究通过实验验证了所提出方法的有效性。在汽车动力总成主动振动控制的应用中，该方法能够设计出对结构非线性和动态变化具有鲁棒性的控制器，并成功实现了sim-to-real迁移。具体的性能数据和提升幅度未知，但实验结果表明该方法优于传统的控制方法。

🎯 应用场景

该研究成果可广泛应用于需要鲁棒控制的机械系统中，例如汽车、机器人、航空航天等领域。在汽车领域，可以用于开发更先进的车辆控制系统，提高车辆的安全性、舒适性和燃油经济性。在机器人领域，可以用于提高机器人在复杂环境中的适应性和可靠性。该方法具有实际应用价值，有望推动相关领域的技术进步。

📄 摘要（原文）

Robust control of mechanical systems with multiple uncertainties remains a fundamental challenge, particularly when nonlinear dynamics and operating-condition variations are intricately intertwined. While deep reinforcement learning (DRL) combined with domain randomization has shown promise in mitigating the sim-to-real gap, simultaneously handling all sources of uncertainty often leads to sub-optimal policies and poor learning efficiency. This study formulates a new curriculum-based continual learning framework for robust control problems involving nonlinear dynamical systems in which multiple sources of uncertainty are simultaneously superimposed. The key idea is to decompose a complex control problem with multiple uncertainties into a sequence of continual learning tasks, in which strategies for handling each uncertainty are acquired sequentially. The original system is extended into a finite set of plants whose dynamic uncertainties are gradually expanded and diversified as learning progresses. The policy is stably updated across the entire plant sets associated with tasks defined by different uncertainty configurations without catastrophic forgetting. To ensure learning efficiency, we jointly incorporate a model-based controller (MBC), which guarantees a shared baseline performance across the plant sets, into the learning process to accelerate the convergence. This residual learning scheme facilitates task-specific optimization of the DRL agent for each uncertainty, thereby enhancing sample efficiency. As a practical industrial application, this study applies the proposed method to designing an active vibration controller for automotive powertrains. We verified that the resulting controller is robust against structural nonlinearities and dynamic variations, realizing successful sim-to-real transfer.