Sample-Efficient and Smooth Cross-Entropy Method Model Predictive Control Using Deterministic Samples

📄 arXiv: 2510.05706v1 📥 PDF

作者: Markus Walker, Daniel Frisch, Uwe D. Hanebeck

分类: eess.SY

发布日期: 2025-10-07

💡 一句话要点

提出基于确定性采样的交叉熵方法模型预测控制，提升采样效率和平滑性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 模型预测控制 交叉熵方法 确定性采样 非线性控制 最优控制

📋 核心要点

  1. 传统CEM-MPC依赖随机采样，导致解空间探索效率低，控制输入不平滑，需要大量样本。
  2. 提出dsCEM，用基于局部累积分布的确定性采样替代随机采样，提升采样效率和控制平滑性。
  3. 实验表明，dsCEM在低样本情况下，累积成本和控制输入平滑性均优于iCEM。

📝 摘要（中文）

交叉熵方法模型预测控制(CEM-MPC)是一种强大的非线性最优控制的无梯度技术，但其性能通常受到随机采样的限制。这种传统方法可能导致对解空间的低效探索和非平滑的控制输入，需要大量的样本才能获得令人满意的结果。为了解决这些限制，我们提出确定性采样CEM (dsCEM)，这是一种新颖的框架，它用从局部累积分布(LCD)导出的确定性样本取代了随机采样步骤。我们的方法引入了模块化方案来生成和调整这些样本集，结合时间相关性以确保平滑的控制轨迹。该方法可以作为现有基于CEM的控制器中采样步骤的直接替代品。在两个非线性控制任务上的实验评估表明，dsCEM在累积成本和控制输入平滑性方面始终优于最先进的iCEM，尤其是在关键的低样本状态下。

🔬 方法详解

问题定义：论文旨在解决交叉熵方法模型预测控制（CEM-MPC）中由于随机采样导致的效率低下和控制输入不平滑的问题。传统的CEM-MPC依赖于随机采样来探索解空间，这导致需要大量的样本才能找到最优或接近最优的控制策略，并且生成的控制轨迹可能不平滑，影响系统的性能和稳定性。

核心思路：论文的核心思路是用确定性采样替代随机采样。具体来说，利用从局部累积分布（LCD）导出的确定性样本来更有效地探索解空间。通过精心设计的确定性采样策略，可以减少所需的样本数量，同时保证控制轨迹的平滑性。这种方法旨在提高CEM-MPC的采样效率和控制性能。

技术框架：dsCEM框架主要包含以下几个模块：1) 局部累积分布（LCD）生成模块：用于生成特定区域内的累积分布函数。2) 确定性采样模块：基于LCD生成确定性的样本集，这些样本集能够更好地代表解空间。3) 时间相关性模块：在生成样本时考虑时间上的相关性，以保证控制轨迹的平滑性。4) CEM优化模块：利用生成的确定性样本，进行交叉熵方法的优化，得到最优的控制策略。整个流程可以看作是替换了传统CEM-MPC中的随机采样步骤。

关键创新：最关键的创新点在于使用确定性采样替代了传统的随机采样。与随机采样相比，确定性采样能够更有效地覆盖解空间，减少冗余样本，从而提高采样效率。此外，通过引入局部累积分布和时间相关性，可以进一步提高采样质量，并保证控制轨迹的平滑性。这种确定性采样方法可以作为现有CEM-MPC框架的即插即用模块。

关键设计：论文中关键的设计包括：1) LCD的生成方式：如何根据问题的特性设计合适的LCD，以保证样本的代表性。2) 确定性采样策略：如何从LCD中提取确定性的样本，例如使用低差异序列等方法。3) 时间相关性的建模方式：如何将时间相关性融入到采样过程中，例如使用马尔可夫链等模型。4) 样本集的自适应调整：如何根据优化过程中的反馈信息，自适应地调整样本集，以进一步提高采样效率。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，在两个非线性控制任务上，dsCEM在累积成本和控制输入平滑性方面均优于最先进的iCEM。尤其是在低样本情况下，dsCEM的性能提升更为显著，证明了其在采样效率方面的优势。具体的数据指标（如累积成本降低百分比、控制输入平滑度提升百分比）在论文中有所体现，但摘要中未明确给出。

🎯 应用场景

该研究成果可广泛应用于机器人控制、自动驾驶、飞行器控制等领域。通过提高模型预测控制的采样效率和平滑性，可以降低计算成本，提高控制系统的实时性和稳定性。尤其是在资源受限的嵌入式平台上，该方法具有重要的应用价值。未来，该方法有望应用于更复杂的非线性控制问题，并与其他优化算法相结合，进一步提升控制性能。

📄 摘要（原文）

Cross-entropy method model predictive control (CEM--MPC) is a powerful gradient-free technique for nonlinear optimal control, but its performance is often limited by the reliance on random sampling. This conventional approach can lead to inefficient exploration of the solution space and non-smooth control inputs, requiring a large number of samples to achieve satisfactory results. To address these limitations, we propose deterministic sampling CEM (dsCEM), a novel framework that replaces the random sampling step with deterministic samples derived from localized cumulative distributions (LCDs). Our approach introduces modular schemes to generate and adapt these sample sets, incorporating temporal correlations to ensure smooth control trajectories. This method can be used as a drop-in replacement for the sampling step in existing CEM-based controllers. Experimental evaluations on two nonlinear control tasks demonstrate that dsCEM consistently outperforms state-of-the-art iCEM in terms of cumulative cost and control input smoothness, particularly in the critical low-sample regime.